# Sapient 发布 HRM-Text 1B：40B token 预训练，成本约 1000 美元，数学和阅读理解分数超过 Llama3.2 3B

> 原标题：Sapient Intelligence releases HRM-Text 1B: 40B tokens, ~$1k pretrain, beats Llama3.2 3B on MATH and DROP

- 来源：r/LocalLLaMA
- 发布时间：2026-05-19T11:01:48.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/23685
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1thjgwr/sapient_intelligence_releases_hrmtext_1b_40b/

## 摘要

Sapient Intelligence 开源了一个 10 亿参数的小模型 HRM-Text 1B，用 16 张 GPU 跑了 1.9 天，喂了 400 亿个 token，总花费大概 1000 美元。

## 推荐理由

Sapient Intelligence 用 16 张 GPU、1.9 天和约 1000 美元预训练出 10 亿参数的 HRM-Text 1B，其 MATH 与 DROP 成绩高于 Llama3.2 3B，展示了小模型低成本训练的一种路径。

## 锐评

1000 美元预训练一个 1B 模型，这个数比分数有意思。16 张 GPU 跑 1.9 天，400 亿 token，预训练的门槛被压到一台小服务器的电费级别，个人开发者凑一凑也能自己训一个。MATH 56.2 和 DROP 82.2 是自报的，跟 Llama3.2 3B 比也是自家挑的，先当参考。成本这个量级下，小团队做垂直小模型完全算得过来账。
