# DeepMind 用在线学习加主动探索，把 RLHF 的数据效率提升了 10 倍

> 原标题：突破RLHF的规模化瓶颈 | DeepMind团队论文 | 数据利用效率极低 | 四种RLHF算法 | off-policy | 在线RLHF | 认知神经网络ENN | 信息导向探索 | 肯定性微调

- 来源：最佳拍档
- 发布时间：2026-04-11T23:00:06.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/2788
- 原文：https://www.youtube.com/watch?v=8K9ITsYPRcc

## 摘要

Google DeepMind 团队在 Gemma 9B 上做了一组实验，证明 RLHF 数据效率低不是算法本身不行，而是用法错了。他们对比了四种算法：离线 RLHF 需要约 20 万条偏好标注才能达到 55% 左右的胜率；而他们提出的在线 RLHF 加上信息导向探索，不到 2 万条标注就做到了同样的水平，数据效率提升超过 10 倍。

## 推荐理由

DeepMind 在 Gemma 9B 上对比四种 RLHF 算法，在线 RLHF 加信息导向探索用不到 2 万条偏好标注达到离线方法约 20 万条的效果，数据效率相差十倍。

## 锐评

2 万条对 20 万条，这个量级差要是真的，省下的标注钱够养一个小团队。但反馈是 Gemini 1.5 Pro 模拟的，模型自己当裁判又自己当选手，这个胜率我持保留态度。让模型自己挑该问什么，把标注预算花在刀刃上，这个思路比数字可信。真要做 RLHF 的，先看它在线采样那部分的工程开销，标注省了，采样和推理的账单未必省。
