跳到正文
Hacker News 首页

Thinking Machines 开源 Inkling:9750 亿参数 MoE 模型,激活 410 亿,能看图听音,还能自己微调自己

Inkling: Our Open-Weights Model

Thinking Machines 把 Inkling 模型完整开源了。这是个总参数 9750 亿的混合专家模型,每次推理只激活 410 亿参数,上下文窗口能塞进 100 万 token。它用 45 万亿个文本、图片、音频和视频 token 训练出来,原生就能处理文字、图片和声音。

推荐理由:Thinking Machines 开源了总参数 9750 亿的混合专家模型 Inkling,每次推理只激活 410 亿参数,原生支持文字、图片和声音,训练数据达 45 万亿 token。

读原文 ↗导出 Markdown