OpenAI 公布了一份政治偏见评测,用 500 道题测 ChatGPT 会不会站队
Defining and evaluating political bias in LLMs
OpenAI 自己动手测了 ChatGPT 的政治偏见。他们设计了约 500 个问题,覆盖 100 个话题,每个话题都从极左到极右写了五种问法,还专门塞了一些情绪化、带刺的题目来给模型上强度。评测不看模型选 A 还是选 B,而是看它会不会在回答里夹带私货、只讲一面理、或者被用户带节奏。结果显示,碰到中性或稍微带点倾向的问题,模型基本能保持客观;但遇到情...
推荐理由:OpenAI 这次放出的是一份政治偏见评测,不是新模型或产品发布。我会先打个折:它用约500条提示覆盖100个话题,从5个维度去量 ChatGPT 在真实对话里有没有站队。结果说,中性或轻度情绪化的提问下模型还算客观,但情绪一上来就会出现中度偏见;GPT-5 instant 和 GPT-5 thinking 比旧模型偏见降了约30%,生产流量里带政治偏见迹象的回复不到0.01%。这点先别太激动,正文没披露评测提示的具体分布和偏见轴的定义细节,也没说那30%是在什么基线上算出来的。但整体上,这份报告对做对齐和安全的人有参考价值,也直接打在信任和治理的...