跳到正文
r/LocalLLaMA

Sapient 发布 HRM-Text 1B:40B token 预训练,成本约 1000 美元,数学和阅读理解分数超过 Llama3.2 3B

Sapient Intelligence releases HRM-Text 1B: 40B tokens, ~$1k pretrain, beats Llama3.2 3B on MATH and DROP

Sapient Intelligence 开源了一个 10 亿参数的小模型 HRM-Text 1B,用 16 张 GPU 跑了 1.9 天,喂了 400 亿个 token,总花费大概 1000 美元。

推荐理由:Sapient Intelligence 用 16 张 GPU、1.9 天和约 1000 美元预训练出 10 亿参数的 HRM-Text 1B,其 MATH 与 DROP 成绩高于 Llama3.2 3B,展示了小模型低成本训练的一种路径。

读原文 ↗导出 Markdown