跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

592 条精选相关主题图像生成AI 视频语音与音频

最新精选

第 21–40 条 · 共 592 条

11月6日星期五

Latent Space

Thinking Machines 发布 Inkling 2 Small:68 小时预训练,网页开发评测领先 Muse Spark Open

Thinking Machines 发布 Inkling 2 Small,这款 594B 总参数、17B 活跃参数的多模态 MoE 已在 Tinker 提供微调和推理。

推荐理由:Inkling 2 Small 在人工智能评测中的能力提升伴随更高输出 token 消耗,低单价使其单任务成本仍低于对比模型。

Hacker News 首页

腾讯发布 Hy4,新增视觉理解与计算机操作能力,计划开放模型权重

腾讯发布新一代大语言模型 Hy4,新增视觉理解和计算机操作能力,并计划在未来几天发布模型权重与系统卡。模型加强了指令遵循、长上下文理解及长周期智能体任务能力,目前已接入 WorkBuddy、CodeBuddy、腾讯云 TokenHub 等产品。

推荐理由:腾讯为 Hy4 增加视觉理解与计算机操作能力,并保持 Hy4 Preview 的定价,扩展任务范围未伴随标准调用价格上调。

Google 博客 · Gemini

Gemini Omni 1.2 Flash:生成更快、成本更低,支持更长视频

Google 推出 Gemini Omni 1.2 Flash,在 Gemini API 和 Gemini for business 正式开放,原生视频生成及编辑时长由10秒增至15秒。

推荐理由:Gemini Omni 1.2 Flash 支持在同一视频上连续修改细节,减少广告变体制作中整段重新生成的需要。

Google DeepMind

Google DeepMind 发布 Gemini Omni 1.2 Flash,支持 15 秒视频并降价 30%

Google DeepMind 发布 Gemini Omni 1.2 Flash,在 Gemini API 和 Gemini for business 全面开放,支持原生生成和编辑最长 15 秒的视频。

推荐理由:Gemini Omni 1.2 Flash 支持对同一视频进行多轮局部修改,减少制作广告变体时重新生成整段视频的成本。

The Decoder

腾讯发布 Hy4,新增图像理解与电脑操作能力,独立评测位列中国模型第二

腾讯发布正式版 Hy4,新增图像理解和自主操作软件能力,目前通过腾讯云、OpenRouter 和元宝等应用提供,模型权重将在未定日期发布。腾讯称其搜索幻觉率在内部测试中从近 16% 降至约 5%,并针对 Blender、CAD 和游戏引擎进行了训练。

推荐理由:腾讯称 Hy4 在金融任务中领先 Kimi K3.1 Pro,独立综合评测却将其排在后者之后,两种测试的领先结论不同。

11月5日星期四

Hacker News 首页

Kimi K3.1 Pro 开放模型权重,支持百万 token 上下文

Kimi K3.1 Pro 已开放权重,是支持文本和图像的原生多模态智能体模型,具备 1-million-token 上下文窗口。模型采用 MoE 架构,总参数为 2.8T、激活参数为 104B,从 Kimi K3 经大规模联合强化学习后训练而来,官方称其编码、3D 创作、金融研究和事实准确性有所提升。

推荐理由:Kimi K3.1 Pro 公布多轮工具调用的消息回传要求,接入时需保留完整推理内容与工具调用记录以维持对话上下文。

11月4日星期三

OpenAI News

OpenAI 用 AI 加速实体产品的设计、仿真与制造

OpenAI 公布模型辅助实体产品工程的研究进展,涵盖机械、电气和系统设计,并宣布与 Mazda 开展研究合作。两名成员用 Astra 在不到一周的业余时间内设计了可与 Codex 对话的设备,制造商在不到一个月内完成小批量原型,但制造前仍需多轮审查和迭代,以处理生产限制、公差及装配细节。

推荐理由:OpenAI 用 Astra 串联设备的机械、电路与软件设计,制造前仍需多轮审查来处理生产限制、公差和装配细节。

11月3日星期二

Google 博客 · Gemini

Google 回顾 2026 年 10 月 AI 更新,涵盖 Gemini 4 与 Genie 4

Google 回顾 2026 年 10 月 AI 更新,重点包括 Gemini 4 Argon 全球推出、Gemini 4 Carbon 公布及世界模型 Genie 4。

推荐理由:Google 将 Argon 全球开放与 Carbon 限定测试分开推进,两款前沿模型的使用入口与安全测试阶段有明确差异。

10月30日星期五

10月29日星期四

AI HOT · 模型

Mistral Large 4(Le Chonk)登陆 Hugging Face,开放约 1T 参数多模态模型权重

Mistral Large 4(Le Chonk)在 Hugging Face 开放权重,采用多模态、多语言 MoE 架构,支持文本和图像输入、文本输出。模型约有 1T 总参数、49B 激活参数和 1M tokens 上下文窗口,提供 FP8、NVFP4 官方版本,许可证对模型即服务业务设有限制。

推荐理由:Mistral Large 4开放权重并提供多种部署路径,让安全团队能够自行控制漏洞复现与修补任务的使用政策和运行环境。

Mistral AI

Mistral Large 4(Le Chonk)提升编码与防御安全能力

Mistral AI 发布改进版 Mistral Large 4(Le Chonk)的开放权重,这款 1-trillion-parameter 原生多模态模型提升了编码、防御性网络安全与推理效率。

推荐理由:Mistral Large 4 开放权重并允许自托管与定制,经营模型即服务的企业须另获商业许可,自主部署与商业使用的授权边界明确。

AI HOT · 技巧与观点

OpenRouter 教程:用 LLM 从 PDF 中抽取表格

OpenRouter 教程通过发送 PDF 和严格 JSON schema,将表格抽取为带明确数据类型的行,并用字段描述处理括号负数、脚注和合并单元格。测试覆盖 5 份 PDF,其中 2 份为扫描件,直接读取 PDF 的模型均正确抽取全部 644 个单元格,这一结果仅代表该测试集。

推荐理由:OpenRouter 将严格行结构与字段清洗规则用于 PDF 表格抽取,并用空结果和输出截断检查捕获正常响应中的漏行风险。

Google 博客 · Gemini

Google 与 XREAL 推出 Android XR 有线眼镜 XREAL AURA,支持办公、观影与游戏

Google 与 XREAL 正式推出搭载 Android XR 的有线 XR 眼镜 XREAL AURA,Gemini 可理解现实视野及屏幕内容并提供帮助。眼镜重量低于 95 克、视场角为 70 度,通过线缆连接便携计算模块,支持多窗口应用及 USB-C 笔记本屏幕镜像,Gemini 还能高亮视野中的关注对象。

推荐理由:XREAL AURA 将 Gemini 接入现实视野与笔记本窗口,让用户在多窗口办公时直接围绕眼前内容获取帮助。

10月28日星期三

Google DeepMind

Google DeepMind 发布世界模型 Genie 4,支持原生音频与实时交互模拟

Google DeepMind 发布世界模型 Genie 4,支持原生音频、交互式对白和自然语言实时修改场景,已向可信测试者开放研究预览。Gemini 3.8 Flash 在模拟中持续观察场景、拆解目标并检查执行进度,帮助维持多步骤事件的连贯性;模型仍存在物体持久性漂移、复杂物理交互和长期一致性等限制。

推荐理由:Genie 4 将原生音频与实时场景控制接入世界模拟,让创作者能在动态场景中调整镜头、对白和动作来试演想法。

10月27日星期二

Google 博客 · Gemini

Gemini 4 Argon 的 8 个应用实例:从复杂资料整理到交互式三维设计

Google 展示了 Gemini 4 Argon 的 8 个应用实例,涵盖复杂资料整理、交互工具、可玩三维场景及动画生成。模型在 Antigravity 中将 NASA 跨越 72 次火星飞行的 80,000 多份原始文件整理为演示文稿,也能协调子智能体、Blender MCP 和 Nano Banana,将真实桌面照片转为可玩的三维赛道。

推荐理由:Google 展示了 Gemini 4 Argon 从照片构建可玩三维场景的方法,将子智能体协作与建模工具调用串联到同一任务中。

The Decoder

OpenAI 发布 GPT-6.1 Terra,API 降价并缩小与更大模型的性能差距

OpenAI 发布 GPT-6.1 Terra,降低 API 价格,并在推理、编码和计算机控制评测中提升表现。输入与输出价格分别为每百万 token $1 和 $5,前代 GPT-5.6 Terra 为 $2 和 $12;Artificial Analysis 测得其最高推理强度下智能指数提升6点,每任务成本从$1.40降至$0.40。

推荐理由:GPT-6.1 Terra 在独立评测中比前代智能指数高出6点,每任务成本从$1.40降至$0.40。

OpenAI News

OpenAI 发布 GPT-6.1 Terra,提升视觉推理与电脑操作能力

OpenAI 发布 GPT-6.1 Terra,结合视觉推理、电脑操作与自然写作能力,标准 API 价格较 GPT-5.6 Terra 和 GPT-6.1 Sol 降低 50%。

推荐理由:OpenAI 将 GPT-6.1 Terra 的标准 API 价格降低 50%,其电脑操作评测成绩较 GPT-5.6 Terra 提高 15 个百分点。

AI HOT · 模型

OpenAI 发布 GPT-6.1 Terra,主打电脑操作与写作能力

OpenAI 发布 GPT-6.1 Terra,主打写作、个性、细致理解请求及电脑操作能力。发布者称其是自家首个在写作、个性和细致理解请求上显著更好的模型,能够理解屏幕内容并跨应用执行操作。该模型在 API 和订阅中提供的用量是 6.1 Sol 的 2 倍,价格更低。

推荐理由:OpenAI 的 GPT-6.1 Terra 在 API 和订阅中提供较 6.1 Sol 两倍的用量,价格也更低。

AI HOT · 模型

OpenAI 发布 GPT-6.1 Terra,向 Plus、Pro、Enterprise 和 Edu 用户开放

OpenAI 发布 GPT-6.1 Terra,今天起在 ChatGPT Work 和 Codex 中向 Plus、Pro、Enterprise 和 Edu 用户推出。新模型主打快速高效,强化视觉推理、精确的电脑操作及清晰自然的写作;官方称其适用于解读技术图纸、起草提案、填写表单和剪辑视频等工作场景。

推荐理由:OpenAI 将 GPT-6.1 Terra 接入 ChatGPT Work 和 Codex,覆盖技术图纸解读、表单填写与视频剪辑等工作场景。

10月24日星期六

Latent Space

月之暗面发布 Kimi K3.1 Pro,计划开放权重,Highspeed 输出提速 2–3×

月之暗面发布 Kimi K3.1 Pro,API 已可用,并承诺于 November 4, 2026 发布权重。模型采用 MoE 架构,总参数量为 2.8T、激活参数量为 104B,支持 1-million-token 上下文窗口;官方称 Highspeed 版本保持智能水平,输出速度提高 2–3×,价格为标准版的两倍。

推荐理由:Kimi K3.1 Pro 的 token 单价较 K3 降低三分之一,独立评测中的单任务成本却因 token 消耗增加而出现持平或上涨。