# Needle：他们把 Gemini 的工具调用能力蒸馏进了一个 26M 小模型

> 原标题：Needle: We Distilled Gemini Tool Calling Into a 26M Model

- 来源：r/LocalLLaMA
- 发布时间：2026-05-12T17:56:09.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/19037
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1tb9b0r/needle_we_distilled_gemini_tool_calling_into_a/

## 摘要

Cactus Compute 开源了一个叫 Needle 的工具调用模型，参数量只有 2600 万。它用 Gemini 当老师，把怎么调用外部工具的能力蒸馏出来，塞进一个没有传统 MLP 层、靠注意力机制和门控结构的小模型里。在消费级设备上跑，预填充速度能到每秒 6000 个 token，解码速度每秒 1200 个 token。

## 推荐理由

Cactus Compute 把 Gemini 的工具调用能力蒸馏进一个 2600 万参数的小模型，并给出消费级设备上每秒 6000 个 token 的预填充速度，为端侧工具调用提供了一种轻量方案。

## 锐评

26M 的模型能跑工具调用，这个方向比模型大小本身有意思。工具调用不需要世界知识，只要认准调哪个函数、参数怎么填，这部分能力蒸馏出来塞进小模型完全说得通。6000 tok/s 的 prefill 在消费级设备上，本地 agent 的调度层可以完全不走 API，省掉每轮对话的往返延迟和 token 账单。结构上砍掉 MLP 只留注意力和门控，如果属实，推理成本还能再压。只有一篇 Reddit 帖子，团队也不知名，效果得等有人拿真实工具集跑一遍。
