跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

592 条精选相关主题图像生成AI 视频语音与音频

最新精选

第 201–220 条 · 共 592 条

6月11日星期四

AI HOT 精选

Runway 与狮门影业互相持股,将联合开发 AI 驱动的短剧新 IP

狮门影业买了 Runway 一部分股份,两家公司会一起开发新 IP,第一个项目是用狮门现有 IP 结合 Runway 视频生成模型做的短剧。狮门还会作为合作方参与 Runway 的 AI 电影节。Runway 的 CEO Cristóbal Valenzuela 说,真正重视 AI 的制片厂把它当创作资源,不是省钱工具。

推荐理由:狮门影业入股 Runway,双方将联合开发新 IP,第一个项目是用狮门现有 IP 结合 Runway 视频模型制作短剧,这是好莱坞制片厂与 AI 视频公司互相持股的一次具体合作。

AI HOT 精选

小米开源终端编程助手 MiMo Code,MIT 协议,内置模型限时免费

小米把终端 AI 编程助手 MiMo Code 开源了,MIT 协议,随便用。内置的 MiMo-V2.5 多模态模型目前免费,性能自称对标 Claude Sonnet 4.6,但正文没写免费到什么时候,也没提参数量。它也支持接 DeepSeek、Kimi、GLM 这些外部模型。

推荐理由:小米以 MIT 协议开源终端编程助手 MiMo Code,内置多模态模型限时免费,并支持接入 DeepSeek、Kimi 等外部模型,开源范围与模型接入方式已明确。

6月10日星期三

OpenAI News

OpenAI 封禁了一批疑似来自中国的 ChatGPT 账号,理由是它们在美国的 AI 政策讨论里搞隐蔽舆论操作

OpenAI 在 6 月 10 号发了份威胁报告,封了两组大概率来自中国的 ChatGPT 账号。一组叫“数据中心顺风车”,专门生成“AI 数据中心推高居民电费”的帖子和图片;另一组叫“科技与关税”,一边骂美国关税是打压科技竞争的手段,一边在提示词里要求只提特朗普、不提习近平。

推荐理由:OpenAI 在威胁报告里披露两组疑似来自中国的账号,分别围绕数据中心电费和科技关税生成帖文,为观察 AI 政策讨论中的隐蔽舆论操作提供了具体案例。

AI 群聊日报

Anthropic 发布 Claude Fable 5/Mythos 5,编程跑分跳到 80.3%,但安全分类器误伤一片,连自家安全报告都封

Anthropic 一天扔出两款模型:Fable 5 给所有人用,满血版 Mythos 5 只给受信伙伴。SWE-bench Pro 得分 80.3%,比上一代 Opus 4.8 的 69.2% 和 GPT 5.5 的 58.6% 都高出一截,仅靠看屏幕截图就打通了宝可梦火红。

推荐理由:Anthropic 同时发布 Fable 5 与受限开放的 Mythos 5,SWE-bench Pro 得分 80.3%,高于 Opus 4.8 的 69.2% 和 GPT 5.5 的 58.6%。

AI HOT 精选

Google Gemini 3.5 实时翻译开放公测,支持 70 多种语言、2000 个语言对

Google 把 Gemini 3.5 的实时翻译功能放出来了,现在通过 Gemini API 就能用。它做的是语音到语音的低延迟翻译,覆盖 70 多种语言,能组合出 2000 个语言对,冷门小语种也包含在内。开发者可以把它接进实时对话、客服、直播或跨国会议里。

推荐理由:Google 将 Gemini 3.5 实时语音翻译开放公测,覆盖 70 多种语言、可组合出 2000 个语言对,开发者能通过 API 接入实时对话、客服、直播和跨国会议场景。

AI HOT 精选

Anthropic 发布 Claude Fable 5,在高风险领域会自动降级到旧模型

Claude Fable 5 是 Anthropic 目前最强的模型,在编程、知识问答、科研和视觉测试里几乎全面领先,任务越复杂优势越大。但它在网络安全、生物化学和模型蒸馏这些敏感领域做了限制:一旦触及,会自动切回能力更保守的 Opus 4.8,平均每 20 次对话触发一次。

推荐理由:Anthropic 发布最强模型 Claude Fable 5,在网络安全、生物化学等敏感领域会自动降级到 Opus 4.8,平均每 20 次对话触发一次。

AI HOT 精选

Claude Fable 5 和 Mythos 5 发布:编程最强、能打游戏,但安全限制会误拦 5% 的对话

Anthropic 发了两个新模型:Claude Fable 5 和 Claude Mythos 5。Fable 5 是面向普通用户的安全版,Mythos 5 是给网络安全防御方用的无限制版,目前只通过美国政府合作项目开放。Fable 5 在软件工程、知识工作和视觉任务上都是新标杆——Stripe 测试时,它一天干完了原本一个团队两个月的代码迁移活。

推荐理由:Anthropic 发布 Fable 5 与 Mythos 5,前者面向普通用户,后者仅通过美国政府合作项目开放给网络安全防御方,Stripe 用 Fable 5 一天完成原团队两个月的代码迁移。

The Verge · AI

Anthropic 放出首个 Mythos 级模型 Claude Fable 5,之前因网络安全能力太强被扣着没发

Anthropic 发布了 Claude Fable 5,说这是他们迄今公开的最强模型。它在软件工程、知识类工作和视觉任务上表现突出,任务越长越复杂,领先优势越明显。Fable 5 是 Mythos 系列第一个大规模公开的模型,之前这个系列因为网络安全能力太强,公司觉得放出来太危险。这次能发,是因为加了新安全机制,会在特定高风险领域直接拦截回答。

推荐理由:Anthropic 公开了 Mythos 系列中第一个大规模发布的模型 Claude Fable 5,该系列此前因网络安全能力过强被搁置,这次发布同时加入了在高风险领域拦截回答的安全机制。

TechCrunch · AI

Anthropic 把最强模型 Mythos 砍掉危险能力后,以 Claude Fable 5 的名字向公众开放

Anthropic 第一次把自家最强的 Mythos 模型开放给普通人用,但加了一道硬锁:在网络安全、生物、化学和模型蒸馏(用大模型教小模型)这些高风险领域,Fable 5 会直接拒答,退回到更保守的 Claude Opus 4.8。这个模型擅长写代码、知识类工作和图像理解。

推荐理由:Anthropic 将内部最强模型 Mythos 以 Claude Fable 5 之名向公众开放,但在网络安全、生物、化学和模型蒸馏等高风险领域会拒答并退回 Claude Opus 4.8。

6月9日星期二

AI HOT 精选

Google 放出 Gemini 3.5 Live Translate,话没说完就开始翻,支持 70 多种语言

Google 发了 Gemini 3.5 Live Translate,一个实时语音转语音翻译模型。它不等对方把整句话讲完,边听边翻,用流式更新把结果推出来,延迟压到几秒,还能保留原声的语速、音高和语调。

推荐理由:Google 发布 Gemini 3.5 Live Translate,支持 70 多种语言,不等整句讲完就边听边翻,延迟压到几秒并保留原声语速、音高和语调。

AI HOT 精选

Gemma 4 12B 发布:一个模型直接看懂图文和音频,不用外挂编码器

Google DeepMind 开源了 Gemma 4 12B,一个 120 亿参数的多模态模型。它最大的变化是去掉了传统的独立视觉/音频编码器,把所有输入统一交给 Transformer 处理,架构更简单。模型能直接听懂语音,不再需要先转文字。官方说它用 Apache 2.0 协议开源,在 16GB 显存或统一内存的笔记本上就能跑。

推荐理由:Google DeepMind 开源 Gemma 4 12B,去掉独立视觉和音频编码器,统一由 Transformer 处理图文语音,16GB 显存即可运行。

AI HOT 精选

一位开发者用 GPT-5.5 替代 OCR 流程,把 2.3 万篇 ChinaRxiv 论文免费开放并配上更完整的英文翻译

这件事的起点很简单:有人觉得传统的 OCR(光学字符识别)管道太复杂,直接用 GPT-5.5 来读论文、做翻译,结果把 23,000 多篇 ChinaRxiv 上的论文免费放出来了,还带了比之前更完整的英文翻译。正文没披露具体成本、延迟和翻译质量对比,所以没法判断这套方案在准确率和开销上到底比 OCR 好多少。

推荐理由:一位开发者用 GPT-5.5 替代传统 OCR 管道,把 2.3 万多篇 ChinaRxiv 论文免费开放并配上更完整的英文翻译,为批量处理中文论文的文档流程提供了一种可迁移的替代思路。

AI HOT 精选

腾讯混元开源 UniRL:一套强化学习框架同时管图像生成和语言模型,还带了两个新算法

UniRL 把扩散模型、流匹配模型、大语言模型和视觉语言模型的强化学习训练塞进了同一个后训练循环里,流程就是生成、打分、算优势、更新参数再同步。框架把模型和算法拆成两个独立维度,可以自由组合,目前已经用在 Hunyuan-Image 3 和 Bagel 上。

推荐理由:腾讯混元开源 UniRL,把扩散、流匹配、语言和视觉语言模型的强化学习训练放进同一后训练循环,模型与算法解耦后可自由组合,为多模态对齐提供了一套可复用的训练基础设施。

AI HOT 精选

一个编程 Agent 串起两个 HuggingFace Space,自动生成了一个巴黎地标 3D 画廊

作者让一个编程 agent 自己动手,把 ideogram-ai/ideogram4 和 VAST-AI/TripoSplat 这两个 Space 串了起来。

推荐理由:作者用一个编程 agent 把 ideogram4 与 TripoSplat 两个 HuggingFace Space 串成链路,跑通从文字到 3D 场景的自动生成,为 agent 编排多工具流程提供了一份可迁移的做法。

6月8日星期一

AI HOT 精选

Runway 发布 Aleph 2.0 视频编辑模型,上传视频后一键改横竖比例

Runway 在桌面网页版上线了 Aleph 2.0 编辑模型。你上传一段已有的视频,选一个想要的宽高比,模型会自动把多出来的画面区域补上,让视频看起来就像原本是按这个比例拍的。正文没披露生成分辨率、处理时长和收费方式,实际效果得自己试。

推荐理由:Runway 在桌面网页版上线 Aleph 2.0,上传已有视频并选定宽高比后,模型会自动补足多出的画面区域,让成片看起来像原本就按该比例拍摄。

AI HOT 精选

微软AI负责人说超级智能快来了,但不会抢你饭碗

Mustafa Suleyman 在播客里聊了几个事。他判断超级智能不会造成大规模失业,但没给出具体论证。微软去年10月跟 OpenAI 签了新合同,一边继续合作,一边拿到了独立研发超级智能的许可,已经建了团队、在训前沿模型,本周 Build 大会还发了7个全模态模型。

推荐理由:微软AI负责人Mustafa Suleyman在播客中判断超级智能不会造成大规模失业,同时微软已获独立研发超级智能的许可并训练前沿模型。

r/LocalLLaMA

有人盯着我的检测 API 打了半年对抗攻击,这三种套路最常得手

Bordair 的作者把检测 API 挂了六个月,从真实流量里抓出三类反复出现的攻击模式:多轮铺垫、利用对话惯性往前推、以及直接给模型换人设。上个月公开的对抗游戏里大概产生了 6700 次攻击,说明这些手法不是实验室玩具,已经在线上跑了。正文没披露具体绕过率和误报率,这点先别太激动。

推荐理由:Bordair 作者将检测 API 暴露在真实流量中六个月,归纳出多轮铺垫、对话惯性推进、换人设三类反复出现的攻击模式,并提到上月的对抗游戏产生约 6700 次攻击。

AI HOT 精选

高德发布 ABot-Earth0.5,用一张卫星图 10 分钟就能生成 3D 城市

高德搞了个叫 ABot-Earth0.5 的模型,号称是全球第一个原生 3D 的城市世界模型。它已经覆盖了 190 多个国家和地区。用起来很简单,你扔给它一张卫星图或者一段文字描述,它就能在普通消费级显卡上,大概 10 分钟给你生成一大片公里级的 3D 城市场景。出来的素材是 3DGS 格式,能直接拖进 Unity、虚幻引擎这些软件里接着用。

推荐理由:高德发布 ABot-Earth0.5,输入一张卫星图或一段文字,约 10 分钟即可在消费级显卡上生成公里级 3D 城市场景,输出 3DGS 格式可直接导入 Unity 和虚幻引擎。

FT · 科技

FT 报道称 AI 监控技术突破让克里姆林宫警觉,但正文被付费墙拦截,关键细节缺失

FT 这篇文章的标题和摘要片段提到,AI 能利用闭路电视画面识别目标,俄罗斯在伊朗最高领袖遇刺后暂停了一套监控系统。但文章正文返回了 403 错误,被付费墙挡在外面,所以系统名称、模型机制、供应商和时间线这些核心信息都没法核实。

推荐理由:FT 报道称 AI 能借闭路电视画面识别目标,俄罗斯在伊朗最高领袖遇刺后暂停了一套监控系统,系统名称与模型机制等细节尚无法核实。

6月7日星期日

AI HOT 精选

北海道农民雇了个叫 Codex 的工程师,用 AI 干了 8 件农活

北海道农民富安弘毅把 ChatGPT 和 Codex 当工程师用。

推荐理由:北海道农民富安弘毅没找外包也没学编程,直接用 ChatGPT 和 Codex 做出 8 个能下地干活的工具,这类非程序员用 AI 写代码处理物理世界事务的案例目前还不多见。