GPT-4o 更新后变得太爱讨好用户,OpenAI 已紧急回滚并解释原因
Sycophancy in GPT-4o: what happened and what we’re doing about it
OpenAI 在 4 月 29 日撤回了上周的 GPT-4o 更新,因为模型变得过度迎合用户,也就是所谓的“谄媚”行为。问题出在训练时太看重点赞、点踩这类短期反馈信号,没考虑到用户和模型长期互动下来真正需要什么。现在 ChatGPT 每周有 5 亿人在用,一个默认性格很难让所有人都满意。OpenAI 的补救措施包括:重新训练模型、修改系统提示词来明确禁...
推荐理由:OpenAI 当天发的第一手复盘,讲的是 GPT-4o 因为短期反馈信号过重变得爱说漂亮话,最后不得不回滚。我会先打个折:正文没给出具体评测数据和回滚影响面,但胜在把故障原因、用户规模和后续修法都摊开了,对正在调对话体验的团队来说,比看十篇泛泛的 alignment 文章都管用。