Needle:一个 26M 参数的小模型,专门做工具调用,能在普通电脑上跑到每秒 1200 token
Show HN: Needle: We Distilled Gemini Tool Calling into a 26M Model
Cactus 开源了一个叫 Needle 的工具调用模型,参数量只有 2600 万,小到可以在消费级设备上跑。它的推理速度很快,预填充阶段每秒能处理 6000 个 token,生成阶段每秒 1200 个 token。这个模型是从 Gemini 的工具调用能力蒸馏出来的,相当于把大模型怎么调用 API、怎么选函数这套本事,压缩进了一个极小的模型里。
推荐理由:Cactus 把 Gemini 的工具调用能力蒸馏进一个 2600 万参数模型,预填充每秒 6000 token、生成每秒 1200 token,可在消费级设备本地运行。