# Needle：一个 26M 参数的小模型，专门做工具调用，能在普通电脑上跑到每秒 1200 token

> 原标题：Show HN: Needle: We Distilled Gemini Tool Calling into a 26M Model

- 来源：Hacker News 首页
- 发布时间：2026-05-12T18:03:11.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/19045
- 原文：https://github.com/cactus-compute/needle

## 摘要

Cactus 开源了一个叫 Needle 的工具调用模型，参数量只有 2600 万，小到可以在消费级设备上跑。它的推理速度很快，预填充阶段每秒能处理 6000 个 token，生成阶段每秒 1200 个 token。这个模型是从 Gemini 的工具调用能力蒸馏出来的，相当于把大模型怎么调用 API、怎么选函数这套本事，压缩进了一个极小的模型里。

## 推荐理由

Cactus 把 Gemini 的工具调用能力蒸馏进一个 2600 万参数模型，预填充每秒 6000 token、生成每秒 1200 token，可在消费级设备本地运行。

## 锐评

26M 参数跑出 1200 tok/s，这个尺寸和速度的组合挺离谱，本地 agent 的工具调用终于不用再连云端了。工具调用本来就是个窄任务，选函数、填参数，用不着 70B 的脑子，蒸馏进 26M 说得通。MIT 开源，消费级设备就能跑，端侧 agent 拿它当路由层，大模型省下来只处理需要推理的部分。准确率没独立评测，先按自报数据看，方向对。
