月之暗面把 Kimi K3 的模型权重、技术报告和三项基础设施技术一起公开了
Kimi K3 开放日:模型权重、技术报告和关键 Infra 技术同步开放
Kimi K3 是一个 2.8 万亿参数的混合专家模型,也就是把任务分给不同专家模块处理,不用每次激活全部参数,能省算力。它原生支持图片理解,单次能处理 100 万 token 的上下文,相当于一次能读完《三体》三部曲还有余。团队说规模化效率比上一代 K2.5 提高了 2.5 倍,这个数字说明用同样资源能训出更强的模型,或者训同样水平的模型成本更低。同...
推荐理由:月之暗面把 Kimi K3 的权重、技术报告和 infra 技术一起开源了,2.8 万亿参数 MoE,单次能吞 100 万 token,规模化效率比上一代提升 2.5 倍。国内旗舰模型完整开源是强信号,热度、知识量、可复现性三条全中。没给更高分是因为目前只有标题和摘要,具体训练成本、消融实验、真实场景跑分都还没看到,等报告正文出来再调。