Fireworks 发布 Ember-1:推理 token 砍掉四成,Kimi K3 的答题质量还在
Fireworks Research 发布 Ember-1,以更少推理 token 保持 Kimi K3 质量
Fireworks Research 发布基于 Kimi K3 的专用模型 Ember-1,在保持质量的同时减少 40% 的 token 消耗。该模型通过 50 多次训练实验和 200 多次评估,学会压缩不必要的推理过程,在七个基准和两家客户的生产流量中,K3 的推理长度可缩短 35% 至 50% 而不损失准确率。
推荐理由:Fireworks Research 基于 Kimi K3 训练出 Ember-1,在七个基准和两家客户生产流量中把推理长度压缩 35% 至 50% 而准确率不变,其压缩冗余推理的训练思路可供同类模型参考。