TRL 新增增量权重同步：只传模型变化的部分，每步传输量从 1.2GB 降到 20-35MB

通过万亿参数与 Hub Bucket 实现增量权重同步：TRL 中的增量权重同步

异步强化学习训练有个很现实的问题：每一步训练器都得把整个模型发给推理引擎。一个 7B 模型用 bf16 格式就要传 14GB，换成万亿参数模型更是要传 TB 级别的数据。Hugging Face 团队发现，在两次优化步骤之间，大约 99% 的 bf16 权重其实完全没变，真正变动的部分很小。他们合入了 TRL 的一个 PR，做法是把变动的权重打包成稀疏...

推荐理由：Hugging Face 在 TRL 里合了一个增量权重同步的 PR，用稀疏 safetensors 只传变化的部分，Qwen3-0.6B 单步载荷从 1.2GB 降到 20–35MB。对经常做分布式微调的人来说，这个压缩比很实在，能省带宽、省时间。正文没提更大规模模型或跨节点同步的实测数据，所以“万亿参数”目前更像一个能力上限的表述，实际效果还得看后续验证。整体是训练基础设施层面的改进，对从业者有用，但还没到必须全员关注的程度。