# TRL 新增增量权重同步：只传模型变化的部分，每步传输量从 1.2GB 降到 20-35MB

> 原标题：通过万亿参数与 Hub Bucket 实现增量权重同步：TRL 中的增量权重同步

- 来源：AI HOT 精选
- 发布时间：2026-05-27T00:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/28735
- 原文：https://huggingface.co/blog/delta-weight-sync

## 摘要

异步强化学习训练有个很现实的问题：每一步训练器都得把整个模型发给推理引擎。一个 7B 模型用 bf16 格式就要传 14GB，换成万亿参数模型更是要传 TB 级别的数据。Hugging Face 团队发现，在两次优化步骤之间，大约 99% 的 bf16 权重其实完全没变，真正变动的部分很小。

## 推荐理由

Hugging Face 在 TRL 中实现增量权重同步，只传两次优化间变动的权重，Qwen3-0.6B 单步载荷从 1.2GB 降至 20 至 35MB，为分布式训练的通信开销提供了一种压缩思路。

## 锐评

99% 的 bf16 权重在两步之间根本没变，这个观察比压缩算法本身值钱。1.2GB 降到 20-35MB 是六十倍的差距，做异步 RL 的带宽账单能直接砍掉一大块，跨节点同步省下来的时间也是实打实的。

这是 Qwen3-0.6B 上的数，模型越大稀疏比例通常越好看，万亿参数那句先当上限听。TRL 里已经能用，跑分布式微调的值得去翻一眼 PR。
