# OpenAI 用“证明者-验证者博弈”让大模型写的东西更好懂，人类评估错误率降了一半

> 原标题：Prover-Verifier Games improve legibility of language model outputs

- 来源：OpenAI News
- 发布时间：2024-07-17T10:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/744
- 原文：https://openai.com/index/prover-verifier-games-improve-legibility

## 摘要

OpenAI 让 GPT-4 家族里的大模型和小模型玩一个博弈游戏：大模型当“证明者”负责解题，小模型当“验证者”负责判对错。大模型如果只追求答案正确，写出来的解题步骤会越来越难读——人类评估员在限时条件下，错误率几乎翻倍。换成这种博弈训练后，大模型必须写出连小模型都能看懂的推理过程，结果人类评估的准确率也上来了。

## 推荐理由

OpenAI 让 GPT-4 家族的大模型当证明者、小模型当验证者进行博弈训练，人类评估错误率从翻倍降至一半，为可扩展监督提供了一条可迁移的训练思路。

## 锐评

让强模型写出弱模型能核验的答案，这个训练信号比单纯刷正确率有意思。人类评估员限时判题错误率几乎翻倍，可见模型给的推理过程本来就不好读，只是以前没人拿这个当指标。现在把可读性塞进博弈里，小模型当裁判，输出就多了一道可验证的门槛。思路我认，完整实验表没放出来，效果先别当定论。跑 agent 的可以留意，以后 prompt 里要求分步、可核验，可能比堆 context 更省 token。
