# OpenAI 公布 deliberative alignment：让模型先读安全规范再推理，o1 在安全基准上超过 GPT-4o

> 原标题：Deliberative alignment: reasoning enables safer language models

- 来源：OpenAI News
- 发布时间：2024-12-20T10:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/657
- 原文：https://openai.com/index/deliberative-alignment

## 摘要

OpenAI 在 12 月 20 日介绍了 deliberative alignment，一种直接让推理模型学习人类写的安全规范文本，并在回答前先对着规范做推理的训练方法。o 系列模型用上了这套方法，推理时会在思维链里调取内部政策、判断请求是否违规，再给出回复。整个过程不需要人工标注思维链或答案。

## 推荐理由

OpenAI 让 o 系列模型在回答前先调取内部安全规范做推理，训练过程无需人工标注思维链，o1 在安全基准上超过 GPT-4o。

## 锐评

安全对齐从拦截改成让模型回答前先对着规范想一遍，这个方向我认。省掉人工标注思维链这笔账挺实在，安全数据标注本来就贵，能自动生成，成本能压下来一个量级。

整篇没有 o1 的具体分数，只说比 GPT-4o 强很多、部分数据集接近饱和。安全 benchmark 接近饱和，潜台词是这套题已经不够用了，拿它证明提升幅度没什么意义。
