跳到正文

#多模态

今日 1 条

2025年3月25日星期二

OpenAI News

OpenAI 把图像生成直接塞进了 GPT-4o,能边聊边改图,文字也终于不崩了

3 月 25 号,OpenAI 把新的图像生成功能做进了 GPT-4o 模型里,不再是外挂一个单独的画图工具。核心变化是模型直接学了图片和文字的联合分布,走的是“文本 token → transformer → 扩散模型 → 像素”这条管线,所以它能读懂上下文,也能在聊天里多轮改图,保持角色、风格一致。

推荐理由:OpenAI 将图像生成直接并入 GPT-4o,模型联合学习图文分布,支持聊天中多轮改图并保持角色与风格一致,文字渲染也更稳定。

OpenAI News

OpenAI 发布 GPT-4o 图像生成系统卡附录,说明新能力与边际风险

OpenAI 在 2025 年 3 月 25 日给 GPT-4o 的系统卡打了个补丁,专门讲 4o 图像生成。这次不是 DALL·E 那套老方案,而是把生图能力直接嵌进 GPT-4o 模型内部,所以它能用上模型已有的知识,出图更贴指令、文字也写得准,还能拿一张图当输入去改。官方说它能出照片级画质,但也承认新能力会带进来一些新风险。

推荐理由:OpenAI 为 GPT-4o 系统卡补充图像生成说明,生图能力直接内嵌模型,可调用已有知识并支持以图改图,同时列出随之而来的新风险。

2025年3月20日星期四

OpenAI News

OpenAI 发了三款新语音模型:两个听写,一个会学语气说话

OpenAI 在 3 月 20 日往 API 里塞了三个新音频模型:gpt-4o-transcribe 和 gpt-4o-mini-transcribe 负责把语音转成文字,gpt-4o-mini-tts 负责把文字念出来。

推荐理由:OpenAI 在 API 上线三款音频模型,两款负责语音转文字,一款负责文字转语音并支持学习语气,语音接口的分工由此更细。

2025年3月17日星期一

Mistral AI

Mistral AI 发布 Mistral Small 3.1,支持多模态与 128k 上下文

Mistral AI 发布 Mistral Small 3.1,在 Mistral Small 3 基础上提升文本性能、多模态理解,并将上下文窗口扩展至 128k tokens,推理速度达 150 tokens per second,以 Apache 2.0 许可开源。

推荐理由:Mistral AI 以 Apache 2.0 许可开源 Mistral Small 3.1,将上下文扩至 128k tokens 并加入多模态理解,可在单张 RTX 4090 或 32GB 内存的 Mac 上运行。

2025年3月12日星期三

Hugging Face 博客

谷歌发布 Gemma 3 系列开源模型,最高 270 亿参数,能看图、懂 140 多种语言

Gemma 3 是谷歌最新放出的开放权重模型,有 1B、4B、12B、27B 四个尺寸。4B 及以上的版本能同时处理图片和文字,支持超过 140 种语言,上下文窗口拉到 128k token(1B 是 32k)。官方说 4B 的指令版在跑分上能打赢上一代 27B,27B 则超过了 Gemini 1.5 Pro。

推荐理由:谷歌放出 Gemma 3 开放权重模型,4B 及以上版本同时处理图文并支持超 140 种语言,官方称 4B 指令版跑分超过上一代 27B。

2025年3月7日星期五

Mistral AI

Mistral AI 发布文档理解 OCR API Mistral OCR

Mistral AI 发布光学字符识别 API Mistral OCR,可接收图片和 PDF,按顺序输出交错的文本与图像,并理解表格、公式、LaTeX 等复杂版式。

推荐理由:Mistral AI 发布文档理解 OCR API,官方给出与 Google、Azure、Gemini 和 GPT-4o 的基准对比,并列出每千页定价与批量推理折扣。

2025年2月6日星期四

OpenAI News

OpenAI 在欧洲推出数据本地存储选项

OpenAI 给 API、ChatGPT 企业版和教育版加了欧洲数据驻留功能。新开的 API 项目可以选欧洲区处理请求,OpenAI 不留存请求和回复数据;新开的企业/教育版工作区可以把对话、文件、图片等内容静态存储在欧洲。但公告没列出具体哪些 API 接口支持这个功能,已有的项目也没法改成欧洲区,这点要注意。

推荐理由:OpenAI 为欧洲新开的 API 项目和企业、教育版工作区提供数据本地存储,API 请求与回复不留存,但现有项目无法迁移到欧洲区。

2025年1月28日星期二

OpenAI News

OpenAI 给美国政府做了个专用版 ChatGPT,叫 ChatGPT Gov

OpenAI 在 2025 年 1 月 28 日发布了 ChatGPT Gov,专门给美国联邦、州和地方机构用。这个版本可以部署在机构自己的微软 Azure 商业云或政府云上,让 IT 部门自己管安全、隐私和合规,比如满足 IL5、CJIS、ITAR 和 FedRAMP High 这类严格的安全框架。

推荐理由:OpenAI 推出面向美国联邦、州和地方机构的 ChatGPT Gov,可部署在机构自有的 Azure 商业云或政府云上,由 IT 部门自行管理安全、隐私与合规。

2025年1月23日星期四

OpenAI News

OpenAI 发布 Operator 系统卡:一个能替你操作电脑的智能体,但高风险操作会强制让人确认

OpenAI 在 2025 年 1 月 23 日公开了 Operator 的安全评估报告。Operator 是一个能看懂屏幕截图、像人一样点击按钮和菜单的电脑操作智能体,底层结合了 GPT-4o 的视觉能力和强化学习训练出的推理纠错能力。

推荐理由:OpenAI 公开 Operator 系统卡,将部署门槛定在缓解后 Medium 以下,并规定金融交易、发邮件、删日程等高风险操作需人工确认,买卖股票则直接禁止。

OpenAI News

OpenAI 发布能直接操作电脑的智能体 CUA,先在美国给 Pro 用户用

OpenAI 在 2025 年 1 月 23 日放出了一个研究预览版智能体,叫 CUA(Computer-Using Agent)。它把 GPT-4o 的视觉能力和强化学习训出来的推理能力揉在一起,不看代码接口,直接像人一样看屏幕截图、用虚拟鼠标键盘来操作图形界面。

推荐理由:OpenAI 发布研究预览版智能体 CUA,靠视觉和强化学习直接看屏幕截图、用虚拟鼠标键盘操作图形界面,先向美国 ChatGPT Pro 用户开放。

OpenAI News

OpenAI 发布 Operator:一个能自己打开浏览器帮你干活的研究预览版

Operator 是一个能自己操控浏览器的 AI 代理,可以看网页、点击、打字、滚动,帮你填表、买菜、做 meme。它背后是一个叫 CUA 的新模型,把 GPT-4o 的视觉能力和强化学习推理结合起来,直接操作屏幕上的按钮和菜单,不需要对方网站提供 API。遇到登录、付款、验证码,它会主动把控制权交还给你,不会偷看或截图这些敏感信息。

推荐理由:OpenAI 发布 Operator 研究预览版,其 CUA 模型直接操控浏览器按钮和菜单,无需网站提供 API,遇到登录、付款和验证码时会把控制权交还用户。

2024年12月9日星期一

OpenAI News

OpenAI 把 Sora 视频生成模型正式上线,推出更快的 Sora Turbo 版本

OpenAI 在 12 月 9 日结束了 Sora 的研究预览,直接把它做成了一个独立产品,给 ChatGPT Plus 和 Pro 用户用。新版本叫 Sora Turbo,生成速度比二月份展示的快了不少。Plus 用户每月能免费生成最多 50 个 480p 视频,或者少一些的 720p 视频。

推荐理由:OpenAI 将 Sora 从研究预览转为独立产品并推出更快的 Sora Turbo,Plus 用户每月可免费生成最多 50 个 480p 视频,这条交代了视频生成工具进入付费订阅的规格与限制。

2024年10月23日星期三

OpenAI News

OpenAI 把一致性模型简化并扩展到 15 亿参数,两步出图,质量追平扩散模型

OpenAI 发了个新方法叫 sCM,把连续时间一致性模型的训练搞稳定了,直接扩到 15 亿参数,在 512×512 的 ImageNet 上跑。它只用两步采样,出图质量就能跟现在最好的扩散模型打平,单张 A100 上 0.11 秒出一张图,比扩散模型快大约 50 倍。论文里对比了有效算力,sCM 花不到 10% 的算力就拿到差不多的 FID 分数。

推荐理由:OpenAI 把连续时间一致性模型扩到 15 亿参数,两步采样在 ImageNet 512×512 上质量追平扩散模型,单张 A100 出图 0.11 秒,算力不到扩散模型 10%。

2024年10月1日星期二

OpenAI News

OpenAI 发布 Realtime API 公测版,让开发者直接调用 GPT-4o 做低延迟语音对话

OpenAI 在 2024 年 10 月 1 日推出了 Realtime API 的公测版,所有付费开发者都能用。这个接口通过一个持久的 WebSocket 连接,把音频直接流式传给 GPT-4o,再流式返回语音,省掉了以前那种“先转文字、再生成回复、最后转语音”的串联流程。好处是延迟更低,能保留语气和重音,还能自动处理用户插话。

推荐理由:OpenAI 公测 Realtime API,开发者可通过一条 WebSocket 连接让音频直连 GPT-4o 流式往返,省去语音转文字再转语音的串联环节。

OpenAI News

OpenAI 给 GPT-4o 开放了图像微调,开发者可以拿图片和文字一起训练模型了

OpenAI 在 2024 年 10 月 1 日上线了 GPT-4o 的图像微调功能,付费开发者现在能上传图片加文字的数据集来定制模型。最少 100 张图就能看到效果,图越多、数据量越大,提升越明显。Grab 用 100 个样本训练后,车道数量识别准确率提高了 20%,限速标志定位准确率提高了 13%。

推荐理由:OpenAI 将图像微调开放给付费开发者,上传图片加文字数据集即可定制模型,最少 100 张图见效,Grab 用 100 个样本把车道数量识别准确率提高 20%。

2024年9月26日星期四

OpenAI News

OpenAI 把内容审核接口升级成多模态了,现在能同时看文字和图片

OpenAI 在 9 月 26 日上线了新的审核模型 omni-moderation-latest,基于 GPT-4o,所有开发者都能免费用。它最大的变化是能审图片了,覆盖暴力、自残、色情这 6 个子类,不过色情类里涉及未成年人的图片暂时还审不了。文字审核新增了“违法”和“违法/暴力”两个类别,比如“怎么偷东西”这种教人干坏事的提示词会被抓出来。

推荐理由:OpenAI 上线基于 GPT-4o 的 omni-moderation-latest 审核模型并免费开放,新增图片审核与违法类文字识别,多模态内容审核的覆盖范围由此扩展。

2024年8月8日星期四

OpenAI News

GPT-4o 系统卡:语音响应快过人类,但声音安全是最大隐患

OpenAI 在 8 月 8 号发了 GPT-4o 的系统卡,把安全底牌摊开来看。这个模型能直接吃文本、音频、图片和视频,输出也一样,最快 232 毫秒就能回话,平均 320 毫秒,跟人聊天反应速度差不多。API 价格比 GPT-4 Turbo 便宜一半。

推荐理由:OpenAI 发布 GPT-4o 系统卡,公开语音延迟最快 232 毫秒、平均 320 毫秒,并披露声音安全风险,为理解多模态模型的能力与安全边界提供官方依据。

2024年7月23日星期二

Hugging Face 博客

Llama 3.1 发布:405B、70B、8B 三个尺寸,主打多语言和长上下文

Meta 在 Hugging Face 上放出了 Llama 3.1,一共三个尺寸:8B、70B 和 405B。8B 适合在消费级显卡上跑,70B 给大规模 AI 应用,405B 主要用来做合成数据、让模型当裁判或者蒸馏小模型。每个尺寸都有基础版和指令微调版。这次还多了两个安全模型:Prompt Guard 是个小分类器,用来检测提示注入和越狱攻击。

推荐理由:Meta 在 Hugging Face 放出 Llama 3.1 的 8B、70B、405B 三个尺寸,405B 的用途是合成数据、模型裁判和蒸馏小模型,为关注开源模型分工的人提供一份具体参照。

2024年7月18日星期四

OpenAI News

OpenAI 发布 GPT-4o mini,比 GPT-3.5 便宜六成,API 里首次用上指令层级防越狱

OpenAI 在 7 月 18 日推出了 GPT-4o mini,直接替换掉 ChatGPT 里的 GPT-3.5。价格是输入每百万 token 0.15 美元、输出 0.6 美元,比 GPT-3.5 Turbo 便宜了超过 60%。

推荐理由:GPT-4o mini 以输入每百万 token 0.15 美元的价格替换 ChatGPT 中的 GPT-3.5,比后者便宜超过六成,同时 API 引入指令层级防越狱。

2023年9月25日星期一

OpenAI News

ChatGPT 现在能看、能听、能说话了

OpenAI 给 ChatGPT 加了语音和图片功能。语音部分,你对着手机说话它能回你,背后用了一个新的文字转语音模型,拿几秒真人录音就能合成很像人的声音,还接入了自家的 Whisper 做语音识别。图片部分,你可以拍照或截图发给它,让它看图说话,底层是 GPT-3.5 和 GPT-4 的多模态版本。

推荐理由:OpenAI 为 ChatGPT 加入语音对话与图片理解,语音合成用几秒真人录音即可生成相似声音,图片部分基于 GPT-3.5 和 GPT-4 的多模态版本。