Sapient 发布 HRM-Text 1B：40B token 预训练，成本约 1000 美元，数学和阅读理解分数超过 Llama3.2 3B

Sapient Intelligence releases HRM-Text 1B: 40B tokens, ~$1k pretrain, beats Llama3.2 3B on MATH and DROP

Sapient Intelligence 开源了一个 10 亿参数的小模型 HRM-Text 1B，用 16 张 GPU 跑了 1.9 天，喂了 400 亿个 token，总花费大概 1000 美元。他们自己测的榜单显示，这个 1B 模型在 MATH 数学题上拿了 56.2 分，在 DROP 阅读理解上拿了 82.2 分，两项都压过了 Meta 的 L...

推荐理由：我会先打个折：独立评测还没做完，MATH 56.2 和 DROP 82.2 都是自报分数，别急着全信。但 1000 美元预训练一个 1B 模型这件事本身就有信息量——它说明小团队也能用很少的算力做出能打的模型，对预算有限的开发者是个实在信号。正文没披露数据配比和消融实验，所以没法判断这 40B tokens 的质量到底多高。分数先按 78 给，等第三方跑完基准再考虑往上调。