新浪开源 VibeThinker-3B:推理能力能塞进小模型,但知识储备不行
新浪开源VibeThinker-3B:推理可压缩,事实知识不能
新浪微博放出了一个 30 亿参数的小模型 VibeThinker-3B,在数学和编程题上能跟 DeepSeek V3.2、Kimi K2.5 这些大几百倍甚至上千亿参数的模型打平。它是在阿里的 Qwen2.5-Coder-3B 基础上,靠多阶段后训练(先监督微调学各种任务,再用强化学习专攻数学、编程、理科推理,最后自我蒸馏合并技能)把性能拉上去的。在 ...
推荐理由:新浪这个VibeThinker-3B最抓人的点是30亿参数能在数学和编程上跟DeepSeek V3.2、Kimi K2.5这些大模型打平,对做端侧部署或者想省推理成本的人是个实打实的信号。训练方法也交代得比较清楚,不是黑盒,而且他们自己验证了一个结论:推理能力可以压缩到小模型里,但事实知识不行,这点对选型有参考价值。没给更高分是因为目前只有这一篇报道,模型在更杂的任务上表现还不清楚,先打个折。