Needle：一个 26M 参数的小模型，专门做工具调用，能在普通电脑上跑到每秒 1200 token

Show HN: Needle: We Distilled Gemini Tool Calling into a 26M Model

Cactus 开源了一个叫 Needle 的工具调用模型，参数量只有 2600 万，小到可以在消费级设备上跑。它的推理速度很快，预填充阶段每秒能处理 6000 个 token，生成阶段每秒 1200 个 token。这个模型是从 Gemini 的工具调用能力蒸馏出来的，相当于把大模型怎么调用 API、怎么选函数这套本事，压缩进了一个极小的模型里。模型权...

推荐理由：我会先打个折：这是 Show HN 和 GitHub 自报的数据，没有独立评测或大厂背书，所以分数没往上走。但亮点很直接——把 Gemini 的工具调用蒸馏进一个 26M 的小模型，prefill 6000 tok/s、decode 1200 tok/s，MIT 开源，意味着你可以在自己电脑甚至手机上跑一个能调工具的 agent，不用连云端。正文没披露训练用了多少样本、工具调用准确率对比基线是多少，也没说支持哪些工具类型，这些缺口让实际可用性还看不清。不过就冲这个尺寸和速度，对做本地 agent 的人来说值得看一眼。