跳到正文
Hacker News 首页

Poolside 发布 Laguna S 2.1:一个 118B 参数的 MoE 编程模型,在长周期任务上以小博大

Laguna S 2.1

Poolside 今天放出了 Laguna S 2.1,一个总参数 1180 亿、每次推理只激活 80 亿参数的混合专家模型,上下文窗口能到 100 万 token。

推荐理由:Poolside 发布的 Laguna S 2.1 采用混合专家架构,每次推理激活的参数约占总参数的 6.8%。

读原文 ↗导出 Markdown