# 强化学习在 LLM 推理训练里的算法演变：从 PPO 到 MaxRL

> 原标题：强化学习的进化：从PPO到MaxRL，LLM推理训练的算法演进史

- 来源：机器之心 · 公众号
- 发布时间：2026-05-01T05:01:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/12879
- 原文：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2651031232&idx=2&sn=d9bede92f805cf8bbb184d9ff344cca6

## 摘要

这篇文章梳理了 2024 到 2026 年，让大模型学会推理的强化学习算法是怎么一步步改的。起点是 PPO，它需要同时跑一个策略模型和一个价值模型，训练成本高。后来的 GRPO、RLOO 这些变体，核心思路是砍掉价值模型，靠同一道题生成多个答案互相比较来算优势，省了显存和算力。

## 推荐理由

文章梳理了2024到2026年大模型推理强化学习算法的演进脉络，从PPO到GRPO、RLOO再到MaxRL，重点讲清各方案如何通过砍掉价值模型来降低训练成本。

## 锐评

砍掉价值模型省的不只是显存，是整个训练流程的复杂度。PPO 要同时维护策略和价值两个网络，调参的人都知道这有多烦，GRPO 那套同题多答案互比的思路，把优势估计交给采样本身。所以现在做推理 RL 的团队，起点基本都从 GRPO 系改起，PPO 更多是当 baseline 摆着。这篇梳理把取舍逻辑串起来了，但没新实验数据，当路线图看就行。
