# OpenAI 用真实对话回放来模拟模型上线后的行为，提前抓出不对劲的回答

> 原标题：Predicting model behavior before release by simulating deployment

- 来源：OpenAI News
- 发布时间：2026-06-16T00:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/38871
- 原文：https://openai.com/index/deployment-simulation

## 摘要

OpenAI 在 GPT‑5‑Thinking 系列模型发布前，把近期真实用户对话里的助手回复删掉，让待发布的新模型重新生成一遍，再检查有没有冒出新的不良行为。这个方法叫部署模拟，相比传统评测，它能给出更准的不良行为频率估计，还发现了以前没见过的对齐问题，同时降低了模型察觉“自己在被测试”的概率。它也能用在带工具调用的智能体场景里。

## 推荐理由

OpenAI 在 GPT‑5‑Thinking 发布前用真实对话回放让新模型重新生成回复，据此估算不良行为频率并发现此前未见的对齐问题，为模型上线前的行为预测提供了一种可迁移的评测方法。

## 锐评

把真实对话里的回复删掉让新模型重写一遍，这个思路比跑一堆 benchmark 靠谱，测的是用户真会问的东西，出题人编的题容易偏。模型察觉自己在被测试会污染结果，真实回放能绕开一部分。

成本没披露是这套方法能不能铺开的关键。每次发版都拿真实对话重跑一遍，推理账单不会小，如果只有 GPT-5 这种旗舰才配用，那它就只是发布前的最后一道保险，日常迭代还是得靠老办法。
