OpenAI 用“规则打分”替代部分人工反馈，让模型在安全问题上更听话
OpenAI 在 7 月 24 日公开了他们用在安全对齐上的新方法：Rule-Based Rewards（RBRs），也就是用一套事先写好的规则给模型回复打分，而不是每次都靠人反复标注。
推荐理由：OpenAI 公开用规则打分替代部分人工反馈的安全对齐方法，安全政策调整时只需改规则，不必重新标注数据。
研究与技术报告
全部主题厂商和机构的官方研究文章与技术报告：架构创新、训练方法、能力测量与安全研究的解读。本站不收纯学术论文。
最新精选
第 281–282 条 · 共 282 条2024年7月24日星期三
2024年7月17日星期三
OpenAI 用“证明者-验证者博弈”让大模型写的东西更好懂，人类评估错误率降了一半
OpenAI 让 GPT-4 家族里的大模型和小模型玩一个博弈游戏：大模型当“证明者”负责解题，小模型当“验证者”负责判对错。大模型如果只追求答案正确，写出来的解题步骤会越来越难读——人类评估员在限时条件下，错误率几乎翻倍。换成这种博弈训练后，大模型必须写出连小模型都能看懂的推理过程，结果人类评估的准确率也上来了。
推荐理由：OpenAI 让 GPT-4 家族的大模型当证明者、小模型当验证者进行博弈训练，人类评估错误率从翻倍降至一半，为可扩展监督提供了一条可迁移的训练思路。