# OpenAI 用“规则打分”替代部分人工反馈，让模型在安全问题上更听话

> 原标题：Improving Model Safety Behavior with Rule-Based Rewards

- 来源：OpenAI News
- 发布时间：2024-07-24T09:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/741
- 原文：https://openai.com/index/improving-model-safety-behavior-with-rule-based-rewards

## 摘要

OpenAI 在 7 月 24 日公开了他们用在安全对齐上的新方法：Rule-Based Rewards（RBRs），也就是用一套事先写好的规则给模型回复打分，而不是每次都靠人反复标注。

## 推荐理由

OpenAI 公开用规则打分替代部分人工反馈的安全对齐方法，安全政策调整时只需改规则，不必重新标注数据。

## 锐评

把安全规则写成显式奖励，工程上确实省事，政策一改改规则就行，不用重新雇人标数据。三种响应模式让拒绝别那么生硬，对产品体验是实打实的。但 OpenAI 这篇没给误拒率和漏判率，规则打分最怕的就是模型学会钻规则空子，表面合规实际绕过去。我关心的是这套规则谁来维护，规则一多，维护成本未必比标数据低。
