OpenAI 用真实对话回放来模拟模型上线后的行为,提前抓出不对劲的回答
Predicting model behavior before release by simulating deployment
OpenAI 在 GPT‑5‑Thinking 系列模型发布前,把近期真实用户对话里的助手回复删掉,让待发布的新模型重新生成一遍,再检查有没有冒出新的不良行为。这个方法叫部署模拟,相比传统评测,它能给出更准的不良行为频率估计,还发现了以前没见过的对齐问题,同时降低了模型察觉“自己在被测试”的概率。它也能用在带工具调用的智能体场景里。
推荐理由:OpenAI 在 GPT‑5‑Thinking 发布前用真实对话回放让新模型重新生成回复,据此估算不良行为频率并发现此前未见的对齐问题,为模型上线前的行为预测提供了一种可迁移的评测方法。