OpenAI 自查 ChatGPT 有没有看人下菜碟:用名字测偏见,整体翻车率约 0.1%
Evaluating fairness in ChatGPT
OpenAI 拿几百万条 ChatGPT 的真实对话做了次内部体检,想看看用户的名字会不会触发有害的刻板印象。他们让 GPT-4o 当“隐私保护评审员”去读聊天记录、找规律,研究员看不到原始对话。结果发现,ChatGPT 的回答质量不会因为名字暗示的性别或种族而变差,但确实有大约 0.1% 的情况,名字会引出有害偏见。
推荐理由:OpenAI 用数百万条真实对话审计 ChatGPT 的公平性,发现回答质量不因名字暗示的性别或种族变差,约 0.1% 的情况会引出有害刻板印象。