# OpenAI 自查 ChatGPT 有没有看人下菜碟：用名字测偏见，整体翻车率约 0.1%

> 原标题：Evaluating fairness in ChatGPT

- 来源：OpenAI News
- 发布时间：2024-10-15T10:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/690
- 原文：https://openai.com/index/evaluating-fairness-in-chatgpt

## 摘要

OpenAI 拿几百万条 ChatGPT 的真实对话做了次内部体检，想看看用户的名字会不会触发有害的刻板印象。他们让 GPT-4o 当“隐私保护评审员”去读聊天记录、找规律，研究员看不到原始对话。结果发现，ChatGPT 的回答质量不会因为名字暗示的性别或种族而变差，但确实有大约 0.1% 的情况，名字会引出有害偏见。

## 推荐理由

OpenAI 用数百万条真实对话审计 ChatGPT 的公平性，发现回答质量不因名字暗示的性别或种族变差，约 0.1% 的情况会引出有害刻板印象。

## 锐评

0.1% 看着低，乘上 ChatGPT 的日活就是每天几十万条对话被名字带出刻板印象，这个量级不算小。我更在意 GPT-3.5 Turbo 在分任务评测里偏差最明显，模型升级确实在压这个问题，还挂着旧模型的产品该考虑下线了。用 GPT-4o 当评审员省人工这招挺聪明，评审器自己有没有偏见没人知道，种族判定一致率不如性别这点他们自己也认了。
