跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

592 条精选相关主题图像生成AI 视频语音与音频

最新精选

第 61–80 条 · 共 592 条

10月13日星期二

AI HOT · 模型

Meta 发布 Muse Wonder 和 Muse Wonder Full,实测智能指数较前代提升

Meta 发布 Muse Wonder 和 Muse Wonder Full,在最高推理强度下的 Artificial Analysis Intelligence Index v4.3 成绩分别为 52 和 56,高于前代 Muse Spark 1.3 的 48。

推荐理由:Meta 的 Muse Wonder 智能指数较前代提升 4 点,单任务成本达到前代的 2.8x,提升能力的同时增加了调用成本。

The Decoder

Meta 发布 Muse Wonder 系列,Full 版本跻身前沿模型第一梯队

Meta 发布 Muse Wonder 和 Muse Wonder Full,在 Artificial Analysis Intelligence Index v4.3 上分别获得 52 和 56 点,高于前代 Muse Spark 1.3 的 48 点。

推荐理由:Meta 发布的 Muse Wonder 提升了编码与智能体任务表现,事实知识仍落后于对手且单任务成本接近前代三倍。

10月8日星期四

AI HOT · 模型

Anthropic 发布 Claude Haiku 5.5,Artificial Analysis 评测得分 43

Anthropic 发布 Claude Haiku 5.5,在 Artificial Analysis Intelligence Index 上得分 43,比一年前的上一代 Haiku 提高 26 点。

推荐理由:Claude Haiku 5.5 采用按提示词长度分层的定价,超过 100k tokens 后输入与输出单价均上涨 5x。

TechCrunch · AI

ChatGPT 推出 Intelligent UI,在对话中加入可交互视觉元素

OpenAI 为 ChatGPT 推出 Intelligent UI,随 GPT-6 加入可点击按钮、任务专用计算器、交互图表和可编辑图形。演示涵盖机翼升力图解、食谱、自行车原理和徒步地图,用户也能调低回答中视觉元素的使用量。该功能周三向全球 Pro、Plus、Business 和 Enterprise 用户推出,周四向免费及较低价的 Go 套餐用户开放。

推荐理由:OpenAI 为 ChatGPT 加入可交互图表和任务计算器,让复杂概念的解释与日常任务处理可以直接借助可操作的视觉元素。

OpenAI News

OpenAI 向更多 ChatGPT 用户推出 GPT‑6 与 Intelligent UI

OpenAI 推出面向更多 ChatGPT 用户的 GPT‑6,新增 Intelligent UI,可在回答中组合文字、图形、按钮、表单和交互工具。模型支持先回答再继续思考补充,内部评测中 GPT‑6 Instant 在需要网页搜索的问题上平均提前 44% 开始回答,相比对象为 GPT‑5.6 Instant。

推荐理由:OpenAI 将交互界面生成融入 GPT‑6 的回答流程,让用户直接在对话中调整输入、探索图解和使用临时生成的工具。

10月7日星期三

Ars Technica · AI

Google 升级 SynthID AI 内容检测器,通过独立网站向全球开放

Google 升级 SynthID 检测器,支持所有合作伙伴的水印,并从今天起通过 SynthID.com 向所有人开放。此前,可信测试计划之外的用户只能通过 Gemini 查询水印,检测器也无法识别 ChatGPT 图像中的 SynthID 水印;新版消除了这一检测限制。SynthID 将不可见信号嵌入 AI 生成图像和视频的像素,以及音频的波形中。

推荐理由:Google 将 SynthID 检测扩展至所有合作伙伴并开放独立网站,用户无需再通过 Gemini 查询内容水印。

Hacker News 首页

OpenAI Decisions API 进入公开测试,支持文本与图像决策

OpenAI Decisions API 进入公开测试,可评估文本、图像或两者组合,返回类型化答案,文档称速度约为 Responses API 的 10x。接口提供条件概率、固定选项选择和有序等级评分,当前仅支持 gpt-6-luna,通过 POST /v1/decisions 调用,预计未来几周正式上线。

推荐理由:OpenAI 将决策接口的输出限定为条件概率、固定选项和有序评分,明确了分类与排序任务同自定义结构化生成之间的适用边界。

Google DeepMind

Google DeepMind 发布 EmbeddingGemma 2,支持端侧多模态嵌入向量

Google DeepMind 发布 EmbeddingGemma 2,基于 Gemma 4 架构,将文本、代码、图像、视频和音频映射到统一嵌入向量空间。模型拥有 740 million 参数,采用 Apache 2.0 许可证,支持 8K token 上下文窗口及完全离线的跨模态搜索与 RAG;纯文本任务仅需 270M 参数,输出向量可从 768 维缩减至 128 维。

推荐理由:EmbeddingGemma 2 将跨模态检索放到本地设备运行,让文本、图像、音频和视频检索无需将数据传至云端。

10月6日星期二

Mistral AI

Mistral AI 发布 Mistral Large 4 公开预览,计划月底开放权重

Mistral AI 发布原生多模态模型 Mistral Large 4(ML4)公开预览,现可通过 Mistral Studio 的 API 试用,计划本月底开放权重。

推荐理由:Mistral AI 计划开放 ML4 权重并支持私有部署,使组织能在自身政策下开展安全工作,减少对供应商访问权限和拒绝策略的依赖。

10月3日星期六

AI HOT · 模型

Anthropic 发布 Claude Opus 5.5,ECI 得分 167 排名第一

Anthropic 于 2026 年 9 月 22 日发布闭源权重模型 Claude Opus 5.5,ECI 得分 167,在 253 个跟踪模型中排名第 1。该模型在软件工程基准 MirrorCode 上取得 77%,在多模态 Furniture Assembly Benchmark 上取得 83%。输入价格为 $4 / 1M tokens,输出价格为 $20 / 1M tokens。

推荐理由:Claude Opus 5.5 的软件工程成绩高于 GPT-6 Astra,数学高难度测试成绩则低于后者。

10月2日星期五

Google 博客 · Gemini

Google 推出 Gemini Live Guided Vision,为 Android 用户提供无障碍视觉辅助

Google 推出 Gemini Live 的 Guided Vision 功能,通过实时视觉描述和语音取景提示,为盲人、低视力用户及需要视觉辅助的人提供帮助。

推荐理由:Google 为 Gemini Live 加入实时视觉描述与取景语音提示,让盲人和低视力用户能通过对话获取日常视觉信息。

10月1日星期四

Google DeepMind

Google DeepMind 发布 Gemini 4 Argon 前沿模型

Google DeepMind 发布新一代前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向受信任的网络安全防御方开放,随后逐步扩展至开发者、企业和消费者。

推荐理由:Gemini 4 Argon 先向受信任的网络安全防御方开放,并公布每百万输入 token 2 美元、输出 10 美元的定价,以及从 64K 提升到 1M 的输出上限。

Google 博客 · Gemini

Google 发布 Gemini 4 Argon,先向可信网络防御团队开放

Google 宣布新模型 Gemini 4 Argon,通过 Fairwind Program 向部分可信网络防御团队逐步开放,面向编码、企业知识工作和网络安全防御。

推荐理由:Google 将 Gemini 4 Argon 的输出上限从 64K 提升至 1M tokens,为复杂任务的单次长程推理提供更大空间。

9月29日星期二

AI HOT 精选

Anthropic 发布 Claude Sonnet 5.5,跑分全面超过前代,速度提升 30% 以上,成本还降了 30%

Anthropic 发布 Claude Sonnet 5.5,官方称其运行速度提升 30% 以上、多数工作成本最多降低 30%,定价与 Sonnet 5 相同但在各项基准上均优于前者。

推荐理由:Anthropic 将 Sonnet 5.5 设为 claude.ai 免费层默认模型,其定价与 Sonnet 5 相同,但官方称速度提升 30% 以上、多数工作成本最多降低 30%。

AI HOT 精选

Anthropic 发布 Claude Sonnet 5.5,速度比上代快 30% 以上

Anthropic 发布 Claude Sonnet 5.5,运行速度比 Sonnet 5 快超过 30%,写作更清晰,适合快速往复的日常任务。官方称其擅长修复 bug、制作文档、幻灯片和表格并有较强设计感,而 Claude Opus 5.5 面向需要谨慎判断的复杂工作。Sonnet 5.5 即日起全面可用,Claude Haiku 5.5 将在未来几周加入该系列。

推荐理由:Anthropic 发布 Claude Sonnet 5.5,速度比上代快逾 30%,并明确其与 Opus 5.5 在快速日常任务和复杂判断工作上的分工。

9月28日星期一

AI HOT 精选

微软雇人审查 Copilot 用户的提示词和上传图片,审阅员被大量色情请求淹没

404 Media 依据获得的内部文件报道,微软 Copilot 雇佣的人类外包审阅员会查看用户提示词和上传的图片,其中包含大量性暗示或露骨的图像编辑请求。这些审阅员并非为标记不当内容,而是评估 Copilot 生成图片的质量,例如判断 AI 放大的胸部是否足够大。报道称至少数百名审阅员参与其中,招聘方之一为 Prolific,微软回应称按使用条款使用客户数据以改进产品。

推荐理由:404 Media 依据内部文件披露微软外包审阅员会查看 Copilot 用户的提示词和上传图片,用于评估生成图片质量,报道呈现了用户数据进入人工审阅环节的具体流程。

9月25日星期五

Google DeepMind

Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在原生实时对话模型上加入近实时视频生成,实现带唇形同步、自然表情和流畅轮次切换的动态视觉形象。

推荐理由:Gemini 3.8 Live 在实时对话模型上加入近实时视频生成,支持唇形同步与97种语言切换,并可在对话中异步调用工具,展示了企业级多模态交互的当前形态。

9月24日星期四

Google 博客 · Gemini

Google 推出 Gemini 3.8 Live with Live Avatar,已在 Gemini Enterprise 提供

Google 推出 Gemini 3.8 Live with Live Avatar,将近实时视频生成与原生实时对话结合,即日起在 Gemini Enterprise 提供。它可同时处理视觉和音频输入,在持续对话时异步调用工具,并支持在 97 种语言间切换时同步调整口型与表情。企业可使用预设形象或通过参考图像定制形象,定制创建目前仅向企业许可名单开放,生成的音频和视频嵌入 SynthID 水印。

推荐理由:Google 将实时语音对话与动态虚拟形象结合,并支持在持续交谈时后台调用工具,让企业客服和交互式引导无需为取数中断对话。

The Verge · AI

Meta 亮出 Muse Charm:一个不带表带的 AI 小屏设备,靠指纹唤醒语音

Meta 在 Connect 大会结尾快速展示了一款叫 Muse Charm 的独立 AI 硬件,专门跑自家的 Muse 智能体。它长得像一块摘掉表带的厚智能手表,配了根挂绳。右上角有指纹传感器,按下去就能直接说话下指令,不用掏手机解锁。正面至少开了三个麦克风孔,还塞了一颗小摄像头。正文没公布价格、续航和上市时间,目前只是露个脸。

推荐理由:Meta 在 Connect 大会结尾展示了独立 AI 硬件 Muse Charm,指纹一按即可直接对 Muse 智能体说话,省去解锁手机这一步,这是继 Ray-Ban 智能眼镜后 Meta 对 AI 硬件形态的又一次尝试。