# 我花了几个月钻进 verl 的 RL 训练框架，最后还是放弃了：内部机制、维护分支的代价，还有一个 NCCL 的坑

> 原标题：I spent months inside verl (an RL post-training framework), forked it, then stopped. Wrote up the internals, the tooling a fork costs, and a nasty NCCL bug.

- 来源：r/LocalLLaMA
- 发布时间：2026-06-01T22:46:07.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/31708
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1tu8io5/i_spent_months_inside_verl_an_rl_posttraining/

## 摘要

作者深入研究了字节跳动的 verl（一个做 RLHF 强化学习微调的开源框架），把它的核心流程拆了一遍：DataProto 数据协议怎么走，模型怎么生成回答（rollout），怎么打分（reward），怎么算优势函数（advantage），最后怎么更新模型。

## 推荐理由

作者拆解了 verl 的 RLHF 训练流程，从 DataProto 数据协议到 rollout、reward、优势计算与模型更新，并记录了维护分支的代价和一处 NCCL 问题。

## 锐评

fork 一个 RL 框架几个月最后放弃，这结局我一点都不意外。verl 这种项目最贵的地方在维护分支，上游一改 DataProto 或者 rollout 的接口，你攒的那点改动全得重来。作者踩的 NCCL 坑也典型，单机跑通不代表多机能跑，通信一挂就是几天。选型前先问自己有没有人能长期跟上游，没有就别 fork，直接用官方镜像，改不动的地方提 PR 比养分支便宜。
