跳到正文
AI HOT 精选

TRL 新增增量权重同步:只传模型变化的部分,每步传输量从 1.2GB 降到 20-35MB

通过万亿参数与 Hub Bucket 实现增量权重同步:TRL 中的增量权重同步

异步强化学习训练有个很现实的问题:每一步训练器都得把整个模型发给推理引擎。一个 7B 模型用 bf16 格式就要传 14GB,换成万亿参数模型更是要传 TB 级别的数据。Hugging Face 团队发现,在两次优化步骤之间,大约 99% 的 bf16 权重其实完全没变,真正变动的部分很小。

推荐理由:Hugging Face 在 TRL 中实现增量权重同步,只传两次优化间变动的权重,Qwen3-0.6B 单步载荷从 1.2GB 降至 20 至 35MB,为分布式训练的通信开销提供了一种压缩思路。

读原文 ↗导出 Markdown