文本之外的能力：视觉理解、图文混合、音视频输入输出的模型与产品进展。
OpenAI 在 9 月 26 日上线了新的审核模型 omni-moderation-latest，基于 GPT-4o，所有开发者都能免费用。它最大的变化是能审图片了，覆盖暴力、自残、色情这 6 个子类，不过色情类里涉及未成年人的图片暂时还审不了。文字审核新增了“违法”和“违法/暴力”两个类别，比如“怎么偷东西”这种教人干坏事的提示词会被抓出来。
推荐理由：OpenAI 上线基于 GPT-4o 的 omni-moderation-latest 审核模型并免费开放，新增图片审核与违法类文字识别，多模态内容审核的覆盖范围由此扩展。
OpenAI 在 8 月 8 号发了 GPT-4o 的系统卡，把安全底牌摊开来看。这个模型能直接吃文本、音频、图片和视频，输出也一样，最快 232 毫秒就能回话，平均 320 毫秒，跟人聊天反应速度差不多。API 价格比 GPT-4 Turbo 便宜一半。
推荐理由：OpenAI 发布 GPT-4o 系统卡，公开语音延迟最快 232 毫秒、平均 320 毫秒，并披露声音安全风险，为理解多模态模型的能力与安全边界提供官方依据。
Meta 在 Hugging Face 上放出了 Llama 3.1，一共三个尺寸：8B、70B 和 405B。8B 适合在消费级显卡上跑，70B 给大规模 AI 应用，405B 主要用来做合成数据、让模型当裁判或者蒸馏小模型。每个尺寸都有基础版和指令微调版。这次还多了两个安全模型：Prompt Guard 是个小分类器，用来检测提示注入和越狱攻击。
推荐理由：Meta 在 Hugging Face 放出 Llama 3.1 的 8B、70B、405B 三个尺寸，405B 的用途是合成数据、模型裁判和蒸馏小模型，为关注开源模型分工的人提供一份具体参照。
OpenAI 在 7 月 18 日推出了 GPT-4o mini，直接替换掉 ChatGPT 里的 GPT-3.5。价格是输入每百万 token 0.15 美元、输出 0.6 美元，比 GPT-3.5 Turbo 便宜了超过 60%。
推荐理由：GPT-4o mini 以输入每百万 token 0.15 美元的价格替换 ChatGPT 中的 GPT-3.5，比后者便宜超过六成，同时 API 引入指令层级防越狱。
OpenAI 给 ChatGPT 加了语音和图片功能。语音部分，你对着手机说话它能回你，背后用了一个新的文字转语音模型，拿几秒真人录音就能合成很像人的声音，还接入了自家的 Whisper 做语音识别。图片部分，你可以拍照或截图发给它，让它看图说话，底层是 GPT-3.5 和 GPT-4 的多模态版本。
推荐理由：OpenAI 为 ChatGPT 加入语音对话与图片理解，语音合成用几秒真人录音即可生成相似声音，图片部分基于 GPT-3.5 和 GPT-4 的多模态版本。