OpenAI 用“规则打分”替代部分人工反馈,让模型在安全问题上更听话
Improving Model Safety Behavior with Rule-Based Rewards
OpenAI 在 7 月 24 日公开了他们用在安全对齐上的新方法:Rule-Based Rewards(RBRs),也就是用一套事先写好的规则给模型回复打分,而不是每次都靠人反复标注。
推荐理由:OpenAI 公开用规则打分替代部分人工反馈的安全对齐方法,安全政策调整时只需改规则,不必重新标注数据。
Improving Model Safety Behavior with Rule-Based Rewards
OpenAI 在 7 月 24 日公开了他们用在安全对齐上的新方法:Rule-Based Rewards(RBRs),也就是用一套事先写好的规则给模型回复打分,而不是每次都靠人反复标注。
推荐理由:OpenAI 公开用规则打分替代部分人工反馈的安全对齐方法,安全政策调整时只需改规则,不必重新标注数据。