Needle：他们把 Gemini 的工具调用能力蒸馏进了一个 26M 小模型

Needle: We Distilled Gemini Tool Calling Into a 26M Model

Cactus Compute 开源了一个叫 Needle 的工具调用模型，参数量只有 2600 万。它用 Gemini 当老师，把怎么调用外部工具的能力蒸馏出来，塞进一个没有传统 MLP 层、靠注意力机制和门控结构的小模型里。在消费级设备上跑，预填充速度能到每秒 6000 个 token，解码速度每秒 1200 个 token。不过正文被 Reddit...

推荐理由：我会先打个折：目前只有一篇 Reddit 帖子作为来源，团队也不算知名，所以分数没给太高。但亮点很实在——一个 26M 的模型声称能复现 Gemini 的工具调用行为，速度数据也漂亮，prefill 6000 tok/s、decode 1200 tok/s，在消费级设备上跑。结构上做了减法，不用 MLP，只留注意力和门控，这点如果属实挺省钱。正文没披露详细的训练数据和完整的基准测试对比，所以“蒸馏效果到底多好”还得看后续验证。