# OpenAI 把内容审核接口升级成多模态了，现在能同时看文字和图片

> 原标题：Upgrading the Moderation API with our new multimodal moderation model

- 来源：OpenAI News
- 发布时间：2024-09-26T10:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/704
- 原文：https://openai.com/index/upgrading-the-moderation-api-with-our-new-multimodal-moderation-model

## 摘要

OpenAI 在 9 月 26 日上线了新的审核模型 omni-moderation-latest，基于 GPT-4o，所有开发者都能免费用。它最大的变化是能审图片了，覆盖暴力、自残、色情这 6 个子类，不过色情类里涉及未成年人的图片暂时还审不了。文字审核新增了“违法”和“违法/暴力”两个类别，比如“怎么偷东西”这种教人干坏事的提示词会被抓出来。多语言...

## 推荐理由

OpenAI 官方开发者产品更新，HKR 里 K 和 R 都站得住：新模型加了风险类别、图像子类，还给出 40 种语言平均提升 42% 的具体数字，多语言审核能力明显增强。R 也成立，因为审核和合规直接卡应用上线的脖子，免费开放意味着团队可以零成本试用。H 偏弱，就是个功能迭代，没什么戏剧性，所以整体放在 featured 的低位。

## 锐评

OpenAI 新发的 omni-moderation-latest 审核模型，最大的变化是能直接审图片了，覆盖暴力、自残、色情这 6 个子类。不过色情类明确不包含涉及未成年人的图片，正文没解释为什么，这是个明显的功能缺口。文字审核新增了“违法”和“违法/暴力”两个类别，比如教人偷东西的提示词会被抓出来。

多语言能力提升很大，内部 40 种语言的测试集上比旧版强了 42%，98% 的语言都有进步。低资源语言像高棉语、斯瓦蒂语提升了 70%，表现最好的泰卢固语是旧版的 6.4 倍。现在西班牙语、中文等主流语言的表现，已经超过了旧版英文的水平。这些数字说明新模型在非英文场景下更实用了，但要注意这是内部评测，外部实际表现还得看开发者反馈。

模型还给审核分数做了校准，让分数更接近真实违规概率，这对需要设定自动化拦截阈值的开发者来说是个实用改进。整个模型对所有开发者免费，Grammarly 和 ElevenLabs 已经在用了。但文章没提图片审核的误判率和延迟数据，也没说后续什么时候能支持更多图片类别。