跳到正文
Hugging Face 博客

Thinking Machines 发布 Inkling:一个万亿参数、原生多模态的开源模型

Welcome Inkling by Thinking Machines

Inkling 是一个总参数量约 1 万亿(975B)、每次推理激活 41B 参数的混合专家(MoE)模型,能直接吃进文字、图片和音频,支持 100 万 token 的上下文窗口。它用 45 万亿个多模态 token 训练,还内置了多 token 预测(MTP)投机解码层来加速推理。

推荐理由:Thinking Machines 发布 Inkling,975B 总参数、41B 激活的 MoE 架构原生支持文字图片音频,上下文窗口达 100 万 token,训练用了 45 万亿多模态 token。

读原文 ↗导出 Markdown