我花了几个月钻进 verl 的 RL 训练框架，最后还是放弃了：内部机制、维护分支的代价，还有一个 NCCL 的坑

I spent months inside verl (an RL post-training framework), forked it, then stopped. Wrote up the internals, the tooling a fork costs, and a nasty NCCL bug.

作者深入研究了字节跳动的 verl（一个做 RLHF 强化学习微调的开源框架），把它的核心流程拆了一遍：DataProto 数据协议怎么走，模型怎么生成回答（rollout），怎么打分（reward），怎么算优势函数（advantage），最后怎么更新模型。作者本来维护了一个自己的分支，但因为上游几乎每天都有改动，同步的成本比自己做改动还高，最后只能停...

推荐理由：这是一篇来自一线的 RL 后训练框架使用报告，不是官方发布。作者没在推销什么，而是老实交代了 fork 又放弃的原因和踩坑记录。我会先打个折：信息密度不错，但只覆盖单机场景，正文没披露多机下的 NCCL 表现。对正在选型或折腾 verl 的人有参考价值，对其他人可能就只是看个热闹。