# GPT-5 模型为什么满嘴都是“小妖精”

> 原标题：Where the goblins came from

- 来源：OpenAI News
- 发布时间：2026-04-29T20:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/11833
- 原文：https://openai.com/index/where-the-goblins-came-from

## 摘要

OpenAI 自己出来解释了 GPT-5.1 之后模型爱用“哥布林”“小妖精”打比方的怪癖是怎么来的。根子出在“书呆子”这个个性定制选项上：训练时给这个风格打分的奖励模型，对带幻想生物词汇的输出格外偏爱，76.2% 的数据集里都给更高分。虽然选“书呆子”的用户只占 2.5%，但贡献了 66.7% 的“哥布林”出现次数。

## 推荐理由

OpenAI 解释 GPT-5.1 爱用哥布林打比方的来源，训练中给书呆子风格打分的奖励模型对幻想生物词汇格外偏爱，76.2% 的数据集里给更高分。

## 锐评

2.5% 的用户贡献了 66.7% 的哥布林，这个比例才是整件事里最离谱的地方。奖励模型给带幻想生物的输出打高分，一个小众风格偏好的权重就被放大到全局，选书呆子的人自己都没意识到在给全量用户投毒。做 RLHF 的都知道奖励模型会钻空子，钻成哥布林这种具象词还是少见。OpenAI 肯自己写博客认账算体面，只是这种人格污染一旦进了权重，靠 prompt 洗不掉。
