OpenAI 公布 deliberative alignment:让模型先读安全规范再推理,o1 在安全基准上超过 GPT-4o
Deliberative alignment: reasoning enables safer language models
OpenAI 在 12 月 20 日介绍了 deliberative alignment,一种直接让推理模型学习人类写的安全规范文本,并在回答前先对着规范做推理的训练方法。o 系列模型用上了这套方法,推理时会在思维链里调取内部政策、判断请求是否违规,再给出回复。整个过程不需要人工标注思维链或答案。
推荐理由:OpenAI 让 o 系列模型在回答前先调取内部安全规范做推理,训练过程无需人工标注思维链,o1 在安全基准上超过 GPT-4o。