跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

514 条精选相关主题图像生成AI 视频语音与音频

最新精选

第 481–500 条 · 共 514 条

2025年12月3日星期三

Mistral AI

Mistral 发布 Mistral 3 系列模型,含 675B 参数 Mistral Large 3

Mistral AI 发布 Mistral 3 系列,包括 14B、8B、3B 三个稠密模型和采用稀疏 MoE 架构的 Mistral Large 3,后者为 41B 激活、675B 总参数,全部以 Apache 2.0 许可开源。

推荐理由:Mistral 3 一次性放出从 3B 到 675B 的 Apache 2.0 模型家族,读者可据此判断开源权重在端侧与前沿能力上的最新位置。

2025年10月21日星期二

Hugging Face 博客

Hugging Face 的 AI Sheets 现在能直接处理图片了

AI Sheets 是一个开源表格工具,之前只能处理文字,现在加入了视觉能力。你可以把图片(比如收据、文档、产品图)直接拖进表格,用自然语言让模型帮你提取里面的信息、生成描述、甚至编辑图片。它背后调用的是 Inference Providers 上的几千个开源模型。你在表格里手动改错、点“赞”的操作,会被当成少样本示例来优化后续结果。处理完的数据可以导...

推荐理由:Hugging Face 给 AI Sheets 加了视觉能力,现在你可以在表格里直接分析图片、抽信息、生成和编辑图像。我会先打个折:正文没披露延迟和并发限制,实际用起来可能没那么丝滑。真正该盯的是它把视觉任务放进同一个数据清洗流,而且人工修正能自动变成 few-shot 数据,这点挺省钱。不过别太激动,这还是个工具层面的改进,没到改写规则的程度。

2025年9月30日星期二

OpenAI News

OpenAI 发布 Sora 2 系统卡,视频生成模型能同时出画面和声音了

OpenAI 在 9 月 30 日公布了 Sora 2 的系统卡,说这个新模型在物理规律、画面真实度、音画同步和风格控制上都比上一代强,能更准地跟着用户的指令走。这次发布先走邀请制,在 sora.com 和独立的 iOS App 上小范围开放。安全方面,上线初期禁止上传视频,也禁止上传带真人照片的图片,对涉及未成年人的内容有更严的审核门槛。正文没提 A...

推荐理由:这条落在 78–84 分档。H 来自 Sora 2 加独立 App 的钩子;K 来自明确的上线限制和安全规则;R 来自竞争和肖像滥用风险。没给更高分是因为价格、评测分数、上下文长度和 API 时间点正文全都没披露,我会先打个折。

OpenAI News

OpenAI 发布 Sora 2,能生成带同步对白和音效的视频,还做了一个社交 App

OpenAI 在 9 月 30 日发布了视频生成模型 Sora 2,同时上线了一个叫 Sora 的 iOS 社交 App。Sora 2 比上一代更遵守物理规律,比如投篮不进会弹框而不是球直接瞬移进筐,也能生成同步的人物对白和环境音效。App 里有个“角色”功能,你录一段视频和音频验证身份后,就能把自己的形象和声音放进任何生成的场景里。OpenAI 说这...

推荐理由:我会先打个折,因为价格和时长这些关键限制都没披露,没法判断实际可用性。但这条消息值得立刻写:OpenAI 在同一天发了 Sora 2 模型和独立的 Sora App,产品形态直接从技术演示跳到了带推荐流的社交应用。模型能同步出视频、对白和音效,还有个“characters”功能,用一次性录像验明正身再把真人形象注入视频——这点先别太激动,正文没讲清楚隐私和滥用防护细节。真正该盯的是分发方式变了,OpenAI 开始用消费级产品逻辑铺视频生成,而不是只给开发者或研究者玩。

2025年9月29日星期一

OpenAI News

OpenAI 给 ChatGPT 加了家长控制,能管孩子用 AI 的时间和功能

OpenAI 在 9 月 29 日上线了家长控制功能,所有 ChatGPT 用户都能用。家长把自己的账号和孩子的绑定后,就能在自己的账号里管理孩子的使用设置。绑定后的青少年账号默认会加强内容过滤,减少暴力、色情角色扮演和极端审美之类的内容。家长还可以单独设置禁用时段、关掉语音模式、关掉记忆功能、禁止图片生成,以及拒绝把孩子的对话拿去训练模型。比较关键的...

推荐理由:OpenAI 把家长控制推给了所有 ChatGPT 用户,但真正值得看的是自残风险上报链路:系统检测到风险后,先由人工小组复核,确认是急性痛苦状态再通过邮件、短信和推送通知家长。这不是一个简单的设置面板,而是一套带人工介入的安全流程。我会先打个折,因为这次没有模型层面的变动,属于产品安全更新,但信息量够实,流程也说得清楚。

OpenAI News

OpenAI 公开了它怎么拦截用 AI 生成或上传儿童性虐待内容

OpenAI 在 2025 年 9 月 29 日发了一篇安全说明,讲他们怎么防止自家模型被用来制作或传播儿童性虐待材料(CSAM/CSEM)。规则上,任何涉及未成年人的色情内容都禁止,一旦发现生成或上传这类内容,账号直接封禁并上报给美国失踪与受虐儿童中心(NCMEC)。技术手段上,他们用了三套工具:哈希匹配(拿已知的违法图片指纹做比对)、Thorn 的...

推荐理由:这篇不是产品发布,是 OpenAI 在 2025 年 9 月 29 日发的儿童安全措施说明。我会先打个折:标题和开头像标准合规声明,没什么新闻爆点。但往下看,技术细节给得比一般政策文多——明确写了用哈希匹配、Thorn 的分类器,以及自家模型去扫文本、图片、音频、视频和用户上传内容。更关键的一句是,他们已经观察到用户上传违规材料,还要求模型做细节描述,这说明滥用不是假设,是正在发生的对抗场景。对做安全和对齐的团队来说,这套跨模态监测组合和已确认的滥用模式,比单纯喊口号有用。信息量够,但缺具体误报率或拦截量级,所以放在 featured 档,不往上拔。

2025年8月6日星期三

OpenAI News

OpenAI 用 1 美元把 ChatGPT Enterprise 卖给整个美国联邦政府,为期一年

OpenAI 和美国总务管理局(GSA)谈成了一笔象征性收费的买卖:接下来一年,联邦行政分支的机构只要付 1 美元,就能给全员开通 ChatGPT Enterprise。另外还白送 60 天不限量使用高级功能,包括 Deep Research(深度研究)和 Advanced Voice Mode(高级语音模式)。联邦业务数据不会被拿去训练模型。公告里没...

推荐理由:OpenAI 跟 GSA 签的这个单子,相当于用 1 美元把 ChatGPT Enterprise 铺进整个联邦行政系统,为期一年,还白送 60 天不限量用高级功能。我会先打个折:这更像是一次性打通政府采购渠道,不是常规促销。正文没写覆盖多少机构、预算盘子多大、具体哪些模型能用,所以别急着算账。但如果是真的,分发效率确实省了一大笔力气,企业数据也不拿来训练,合规上说得过去。

2025年7月17日星期四

Mistral AI

Mistral 为 Le Chat 推出 Deep Research、语音模式等新功能

Mistral 为 Le Chat 上线一批新功能,包括预览版 Deep Research 模式、由新语音模型 Voxtral 驱动的语音模式、由推理模型 Magistral 支持的多语言思考模式、用于整理对话的 Projects,以及与 Black Forest Labs 合作的高级图像编辑。

推荐理由:Mistral 官方一次性公布 Le Chat 五项新功能,读者可据此了解其研究、语音与图像编辑能力的组合方式。

2025年6月1日星期日

OpenAI News

OpenAI 封禁一批中国账号,用 ChatGPT 生成美国对立内容但几乎没人看

OpenAI 根据 Meta 的线索,封掉了一批来自中国的 ChatGPT 账号,内部代号叫“Uncle Spam”。这些账号主要干三件事:一是生成支持和反对关税的帖子,在 X 和 Bluesky 上同时发,故意挑动对立情绪;二是用 AI 生成“退伍军人”之类的假头像,冒充美国老兵批评现任政府;三是让模型写代码去扒 X 和 Bluesky 的用户资料,...

推荐理由:OpenAI 根据 Meta 的线索端掉了一批中国 ChatGPT 账号,代号“Uncle Spam”。文章把具体操作摊开了:用 AI 在 X 和 Bluesky 上同时发正反两种关税帖子,故意制造对立;生成“退伍军人”假头像冒充美国老兵骂现任政府;还让模型写代码去扒两个平台的用户资料。这些细节让事件从“又抓了一批号”变成了一个可拆解的操作案例。我会先打个折,因为这不是产品更新或模型发布,而是一次安全事件通报,所以分数落在值得推荐的区间里。

2025年5月8日星期四

OpenAI News

OpenAI 在亚洲四国上线数据本地存储,但没提推理环节是否也留在本地

OpenAI 宣布在日本、印度、新加坡和韩国为 ChatGPT 企业版、教育版和 API 平台提供数据本地存储。企业可以把聊天记录、上传文件和图片等数据存在当地,满足数据主权要求。API 客户需要新建项目并选择国家,企业版和教育版则是在创建新工作区时设置。官方列了加密标准(AES-256 和 TLS 1.2+)、默认不用客户数据训练模型等安全措施。但有...

推荐理由:OpenAI 给亚太四国开了数据驻留,企业版、教育版和 API 都能把对话、上传文件这类静态内容存在本地。这对被数据主权卡脖子的采购方是个实打实的进展。但我会先打个折:正文只说了“静态存储”,没提推理计算是不是也全程不出境,这点先别太激动。

2025年5月7日星期三

Mistral AI

Mistral AI 发布 Mistral Medium 3,主打低成本与企业部署

Mistral AI 发布 Mistral Medium 3,称其在各项基准上达到或超过 Claude Sonnet 3.7 的 90%,成本为每百万 token 输入 $0.4、输出 $2。

推荐理由:Mistral Medium 3 以更低成本对标 Claude Sonnet 3.7,并给出企业私有化部署与定制路径。

2025年4月23日星期三

OpenAI News

OpenAI 把 ChatGPT 里那个生图模型做成 API 了,叫 gpt-image-1

4 月 23 号,OpenAI 把 ChatGPT 里那个一周就帮 1.3 亿用户生了 7 亿张图的模型,包装成 gpt-image-1 放到了 API 里,让开发者可以直接在自己的工具里调用。计费按 token 算:你输入的提示词每 100 万 token 收 5 美元,喂给模型的图片每 100 万 token 收 10 美元,模型吐出来的图每 10...

推荐理由:OpenAI 把 ChatGPT 的图像模型搬进 API,并公开了 token 计价和默认不训练 API 数据的政策。对开发者来说,这不再是“看别人玩”,而是可以自己接入、算账、评估合规风险了。我会先打个折:首周 7 亿张图更多是 ChatGPT 端的热度,API 侧的实际表现还得看延迟和稳定性,正文没披露这些。但定价结构清晰,低分辨率方图约 0.02 美元一张,高分辨率约 0.19 美元,加上 C2PA 元数据这个动作,说明他们在为商用场景铺路。综合来看,当天值得放进 p1。

2025年4月16日星期三

OpenAI News

OpenAI 发布 o3 和 o4-mini:推理模型学会自己调用工具了

OpenAI 在 4 月 16 日推出了 o3 和 o4-mini 两个新模型。o3 是目前最强的推理模型,在编程、数学和视觉任务上刷新了多项基准,外部专家评估其重大错误比 o1 少了 20%。o4-mini 则主打快速和低成本,在 AIME 2025 数学竞赛中,配合 Python 解释器使用,单次答题正确率达到 99.5%,八次投票后正确率 100...

推荐理由:P1 没问题。OpenAI 这次把推理模型和工具调用绑在一起发布,不是单纯刷榜,而是改了 ChatGPT 的默认行为。o3 减错、o4-mini 接近满分这两组数字有信息量,虽然正文没披露评测设置细节,但已经够让从业者关注。HKR 三项都踩中,我会先打个折——基准测试的对比条件没完全展开,但整体判断站得住。

OpenAI News

OpenAI 的 o3 和 o4-mini 现在能直接在推理链里“想”图片了

OpenAI 在 4 月 16 日说,o3 和 o4-mini 这两个模型学会了一项新本事:它们不再只是“看”图片,而是能在内部推理时直接对图片做裁剪、缩放、旋转等操作,整个过程不依赖外挂的视觉模型。这意味着模型可以自己把倒过来的字转正再读,或者放大图片里的细节来找线索。文章举了例子,o3 花了 20 秒读出一张倒置手写笔记的内容,又用了 1 分 44...

推荐理由:OpenAI 这一步不是简单加视觉功能,而是让推理模型把图像操作并入同一条思考链,所以 HKR 三项都成立。我没给更高分,因为正文只给了演示耗时,没披露基准测试的具体分数和铺开范围,这点先别太激动。

2025年3月25日星期二

OpenAI News

OpenAI 把图像生成直接塞进了 GPT-4o,能边聊边改图,文字也终于不崩了

3 月 25 号,OpenAI 把新的图像生成功能做进了 GPT-4o 模型里,不再是外挂一个单独的画图工具。核心变化是模型直接学了图片和文字的联合分布,走的是“文本 token → transformer → 扩散模型 → 像素”这条管线,所以它能读懂上下文,也能在聊天里多轮改图,保持角色、风格一致。最实用的提升是文字渲染:路牌、菜单、邀请函上的字终...

推荐理由:这次更新把图像生成直接塞进 GPT-4o 本体,不是接个 DALL·E 插件。核心看点不是画得有多美,而是两点:一是文字渲染准不准,二是多轮改图能不能保持一致性——比如改完背景,人物别跟着变脸。正文给了机制线索,transformer 先理解意图,diffusion 再出像素,中间有联合训练撑着,但没给具体架构和训练数据量。示例里反复出现 best of 1 和 best of ~8,说明模型内部会多采样再挑图,实际出图质量可能比单次采样稳,但延迟和算力成本也会上去。价格、API 开放时间和调用配额正文都没提,这点先别太激动。整体看,这是一次把多模...

OpenAI News

OpenAI 发布 GPT-4o 图像生成系统卡附录,说明新能力与边际风险

OpenAI 在 2025 年 3 月 25 日给 GPT-4o 的系统卡打了个补丁,专门讲 4o 图像生成。这次不是 DALL·E 那套老方案,而是把生图能力直接嵌进 GPT-4o 模型内部,所以它能用上模型已有的知识,出图更贴指令、文字也写得准,还能拿一张图当输入去改。官方说它能出照片级画质,但也承认新能力会带进来一些新风险。具体是哪些风险、怎么量...

推荐理由:这是 OpenAI 官方对 GPT-4o 图像生成能力的补充说明,属于产品能力的一次重要更新。HKR 三项都踩中了:原生出图加稳定文字渲染是个抓人的点,能力事实也够硬,对实际工作流有冲击。但正文没给具体评测分数和缓解措施细节,所以重要性到不了顶格,84 分合理。

2025年3月20日星期四

OpenAI News

OpenAI 发了三款新语音模型:两个听写,一个会学语气说话

OpenAI 在 3 月 20 日往 API 里塞了三个新音频模型:gpt-4o-transcribe 和 gpt-4o-mini-transcribe 负责把语音转成文字,gpt-4o-mini-tts 负责把文字念出来。听写模型在 FLEURS 等多语言基准上跑分比 Whisper v2、v3 都低,低的是词错率,说明在口音重、环境吵、语速快的时候...

推荐理由:OpenAI 在 API 里发了三个音频模型,给了具体的基准和机制细节,所以 HKR 三项都过了,featured 没问题。分数我维持 84,没往上加,因为正文没披露价格、延迟,基准对比也只给了 FLEURS 一个点,信息还不够全。

2025年3月17日星期一

Mistral AI

Mistral AI 发布 Mistral Small 3.1,支持多模态与 128k 上下文

Mistral AI 发布 Mistral Small 3.1,在 Mistral Small 3 基础上提升文本性能、多模态理解,并将上下文窗口扩展至 128k tokens,推理速度达 150 tokens per second,以 Apache 2.0 许可开源。

推荐理由:官方给出 Mistral Small 3.1 的多模态、128k 上下文与 150 tokens/s 推理数据,可对照同量级小模型判断其定位。

2025年3月12日星期三

Hugging Face 博客

谷歌发布 Gemma 3 系列开源模型,最高 270 亿参数,能看图、懂 140 多种语言

Gemma 3 是谷歌最新放出的开放权重模型,有 1B、4B、12B、27B 四个尺寸。4B 及以上的版本能同时处理图片和文字,支持超过 140 种语言,上下文窗口拉到 128k token(1B 是 32k)。官方说 4B 的指令版在跑分上能打赢上一代 27B,27B 则超过了 Gemini 1.5 Pro。模型已经挂在 Hugging Face 上...

推荐理由:标题信息量不小,但正文为空,我会先打个折。Google 新 Gemma 本身自带关注度,多模态和长上下文这两个点又正好打在本地部署和模型选型的痛点上,所以 H 和 R 都站得住。K 完全拿不到分,因为参数、上下文窗口、许可证、基准成绩一概没披露,现在只能当个预告看,不能当评测结论用。整体放在 featured 低位是合理的,等模型卡或技术报告出来再重新判断。

2025年3月7日星期五

Mistral AI

Mistral AI 发布文档理解 OCR API Mistral OCR

Mistral AI 发布光学字符识别 API Mistral OCR,可接收图片和 PDF,按顺序输出交错的文本与图像,并理解表格、公式、LaTeX 等复杂版式。

推荐理由:官方给出 Mistral OCR 的基准对比、多语言表现与定价,可据此判断文档解析在 RAG 流程中的可用性。