跳到正文

#多模态

今日 4 条

10月28日星期三

AI HOT · 模型

Google 发布世界模型 Genie 4,支持实时操控与原生音频

Google 发布下一代世界模型 Genie 4,支持实时操控,并同步生成环境音与人物实时对话。相比 Genie 3,其照片级真实感和物体碰撞等物理模拟有明显进步。用户可用 WASD 和双摇杆控制角色或镜头,也可在运行中用自然语言修改天气、加入物体。

Hacker News 首页

Liquid AI 发布 LFM3:面向专用智能的多模态模型家族

Liquid AI 发布 LFM3,首批包含 6 款 2B 级模型,以共享骨干覆盖文本、视觉、音频、全模态和决策任务。新骨干采用短卷积、滑动窗口注意力与全局注意力的三混合架构,经过 22T tokens 预训练,文本模型提供 256K tokens 上下文窗口。

The Decoder

Google DeepMind 的 Genie 4 如何更新早于 LLM 的智能体设计

Google DeepMind 推出实验性世界模型 Genie 4,支持实时交互场景、声音生成和角色对话,目前仅向部分测试者开放。Gemini 3.8 Flash 持续观察画面、拆解任务并调整计划,Gemini 4 Argon 则在演示中指挥模拟机器人 Apollo 下跳棋。

The Verge · AI

Google 发布 Genie 4,生成更逼真的交互体验

Google 今天宣布世界模型 Genie 4,可生成更逼真的交互体验,支持用自然语言提示词实时修改体验并生成音频。模型使用 Gemini 3.8 Flash 辅助模拟,体验时长从 Genie 3 的一分钟增至约两分钟,Google 提醒较长模拟中的细节和物体持续性可能发生变化。

TechCrunch · AI

Google Genie 4 世界模型加入音频、更逼真的场景与实时编辑

Google DeepMind 于周二发布 Genie 4 研究预览,新增实时音频与模拟中的提示词编辑,生成更逼真、可交互的世界。模型可实时改变天气、镜头角度或添加人物与物体,保持场景一致性最长两分钟,是前代的两倍,但仍存在细节漂移、音频准确性和场景文字可读性问题。

Google DeepMind

Google DeepMind 发布世界模型 Genie 4,支持原生音频与实时交互模拟

Google DeepMind 发布世界模型 Genie 4,支持原生音频、交互式对白和自然语言实时修改场景,已向可信测试者开放研究预览。Gemini 3.8 Flash 在模拟中持续观察场景、拆解目标并检查执行进度,帮助维持多步骤事件的连贯性;模型仍存在物体持久性漂移、复杂物理交互和长期一致性等限制。

推荐理由:Genie 4 将原生音频与实时场景控制接入世界模拟,让创作者能在动态场景中调整镜头、对白和动作来试演想法。

10月27日星期二

Google 博客 · Gemini

Gemini 4 Argon 的 8 个应用实例:从复杂资料整理到交互式三维设计

Google 展示了 Gemini 4 Argon 的 8 个应用实例,涵盖复杂资料整理、交互工具、可玩三维场景及动画生成。模型在 Antigravity 中将 NASA 跨越 72 次火星飞行的 80,000 多份原始文件整理为演示文稿,也能协调子智能体、Blender MCP 和 Nano Banana,将真实桌面照片转为可玩的三维赛道。

推荐理由:Google 展示了 Gemini 4 Argon 从照片构建可玩三维场景的方法,将子智能体协作与建模工具调用串联到同一任务中。

Simon Willison

OpenAI 发布 GPT-6.1 Terra,强调视觉推理与计算机操作

OpenAI 发布 GPT-6.1 Terra,强调细致的视觉推理、精准的计算机操作,以及更清晰自然的写作。OpenAI 的 Ted Sanders 表示,Terra 的技术沟通可能优于 Astra 和 Sol,视觉与计算机操作能力相近且速度更快,多数其他能力略弱。

OpenAI News

Greptile 借助 GPT-6 Astra 将缺陷检测拓展到代码审查之外

Greptile 用 GPT-6 Astra 的 computer use 能力自动化应用测试:为 pull request 启动开发服务器、把浏览器调整为 iPhone 尺寸视口并模拟用户操作,靠模型的视觉理解发现代码审查看不出的问题。Greptile 还通过 MCP server 把代码库知识库接入 Codex,数千客户已连接,AI 生成代码的回退次数随之减少。

The Decoder

OpenAI 发布 GPT-6.1 Terra,API 降价并缩小与更大模型的性能差距

OpenAI 发布 GPT-6.1 Terra,降低 API 价格,并在推理、编码和计算机控制评测中提升表现。输入与输出价格分别为每百万 token $1 和 $5,前代 GPT-5.6 Terra 为 $2 和 $12;Artificial Analysis 测得其最高推理强度下智能指数提升6点,每任务成本从$1.40降至$0.40。

推荐理由:GPT-6.1 Terra 在独立评测中比前代智能指数高出6点,每任务成本从$1.40降至$0.40。

OpenAI News

OpenAI 发布 GPT-6.1 Terra,提升视觉推理与电脑操作能力

OpenAI 发布 GPT-6.1 Terra,结合视觉推理、电脑操作与自然写作能力,标准 API 价格较 GPT-5.6 Terra 和 GPT-6.1 Sol 降低 50%。

推荐理由:OpenAI 将 GPT-6.1 Terra 的标准 API 价格降低 50%,其电脑操作评测成绩较 GPT-5.6 Terra 提高 15 个百分点。

Hacker News 首页

GPT-6.1 Terra 支持图像理解、应用屏幕操作与文本撰写

GPT-6.1 Terra 可将产品照片匹配到目录条目、解读技术图纸、操作应用屏幕,以及起草和修改文本。reasoning.effort 支持 none、low、medium(默认)、high、xhigh 和 max。工具调用要求使用 Responses API,提示词与迁移指导见 GPT-6 指南。

AI HOT · 模型

OpenAI 发布 GPT-6.1 Terra,主打电脑操作与写作能力

OpenAI 发布 GPT-6.1 Terra,主打写作、个性、细致理解请求及电脑操作能力。发布者称其是自家首个在写作、个性和细致理解请求上显著更好的模型,能够理解屏幕内容并跨应用执行操作。该模型在 API 和订阅中提供的用量是 6.1 Sol 的 2 倍,价格更低。

推荐理由:OpenAI 的 GPT-6.1 Terra 在 API 和订阅中提供较 6.1 Sol 两倍的用量,价格也更低。

AI HOT · 模型

OpenAI 发布 GPT-6.1 Terra,向 Plus、Pro、Enterprise 和 Edu 用户开放

OpenAI 发布 GPT-6.1 Terra,今天起在 ChatGPT Work 和 Codex 中向 Plus、Pro、Enterprise 和 Edu 用户推出。新模型主打快速高效,强化视觉推理、精确的电脑操作及清晰自然的写作;官方称其适用于解读技术图纸、起草提案、填写表单和剪辑视频等工作场景。

推荐理由:OpenAI 将 GPT-6.1 Terra 接入 ChatGPT Work 和 Codex,覆盖技术图纸解读、表单填写与视频剪辑等工作场景。

Google 博客 · Gemini

15 名大学生分享他们最爱的 Gemini 功能

Google 邀请 15 名 Google Student Ambassadors 分享他们最常用的 Gemini 功能,涵盖 Study notebooks、Gemini Live、Guided Learning、学习指南生成、自定义测验、无限上传、Audio Overviews、Nano Banana 图像生成和 Chrome 中的 Gemini。

10月26日星期一

Hacker News 首页

苹果发布新款 iPad mini:搭载 A20 Pro 与 8.5 英寸 OLED 屏

苹果发布新款 iPad mini,搭载 A20 Pro 芯片,配备 8.5 英寸 OLED 屏,峰值亮度较上代提升 2 倍以上,并新增 IP67 防尘抗水。新品 10 月 28 日起在 36 个国家和地区开启预购,11 月 6 日到货,Wi-Fi 版起售价 699 美元,提供 128GB、256GB、512GB 三种容量。

AI HOT · 产品

Kling 4.0 上线 Runware API,支持 30 秒 1080p 原生音频视频

Runware 在 Kling 4.0 发布首日将其接入 API,支持生成最长 30 秒的 1080p 视频及原生音频。功能包括首、中、尾多关键帧、单请求最多 15 个输入,以及基于提示词的已有片段编辑;输入可包含关键帧、参考图、参考视频与元素。

10月24日星期六

Latent Space

月之暗面发布 Kimi K3.1 Pro,计划开放权重,Highspeed 输出提速 2–3×

月之暗面发布 Kimi K3.1 Pro,API 已可用,并承诺于 November 4, 2026 发布权重。模型采用 MoE 架构,总参数量为 2.8T、激活参数量为 104B,支持 1-million-token 上下文窗口;官方称 Highspeed 版本保持智能水平,输出速度提高 2–3×,价格为标准版的两倍。

推荐理由:Kimi K3.1 Pro 的 token 单价较 K3 降低三分之一,独立评测中的单任务成本却因 token 消耗增加而出现持平或上涨。

AI HOT · 产品

月之暗面 Kimi K3.1 Pro 上线 OpenRouter,支持 1M 上下文

OpenRouter 上线月之暗面的 Kimi K3.1 Pro,这是一款面向长程编码和智能体任务、支持 1M 上下文的多模态开源权重模型。该模型基于 Kimi K3 后训练,定价为 $2/M input tokens、$10/M output tokens,可在 OpenRouter 直接试用。

The Decoder

Kimi K3.1 Pro 发布,智能指数距 Claude Opus 5.5 仅差3点

月之暗面发布推理模型 Kimi K3.1 Pro,在 Artificial Analysis Intelligence Index 获得55点、排名第四,比 Kimi K3 提高11点,距 Claude Opus 5.5 差3点。

推荐理由:月之暗面的 Kimi K3.1 Pro 在同等模型规模下将智能指数提高11点,每项测试任务成本从$2.00降至$1.98。

Google 博客 · Gemini

5 位开发者如何用 Gemini 4 Argon 构建三维模拟与多人游戏

Google 展示了社区开发者使用 Gemini 4 Argon 构建的 5 个项目,涵盖三维模拟、实时数据可视化和多人浏览器游戏。案例包括水上飞机模拟、结合 NASA 野火数据与美国地质调查局地震数据的交互地球仪、喷气发动机模拟、由单张图像生成的交互式马车,以及多人夺旗游戏 Backyard Rascals。

Hacker News 首页

Kimi 在 Kimi Code 发布 K3.1 Pro 与 K3.1 Pro Highspeed

Kimi 在 Kimi Code 全面开放 K3.1 Pro,并发布能力相同、输出速度约为其 2–3× 的 K3.1 Pro Highspeed。K3.1 Pro 具有 3T 参数和 1M 上下文窗口,支持图像、视频输入,仅支持思考模式;官方称其编码、3D 创作及金融研究与建模能力显著提升。

推荐理由:Kimi 发布能力相同的 K3.1 Pro 高速版本,以约 2 倍配额消耗换取约 2–3× 模型输出速度,工具调用和脚本执行不随之加速。

AI HOT · 产品

Kling 4.0 在 fal 上线,向所有客户开放 API 访问

fal 宣布 Kling 4.0 正式向公众开放,所有客户均可通过 API 访问。该模型支持最长 30 秒带音频的原生视频生成、最多 15 个图像/视频/元素参考,以及最多 10 个关键帧的精确控制。运动、角色一致性和电影感叙事表现也得到提升。

10月23日星期五

Hacker News 首页

Fable 5.1 如何在图像中隐藏消息?

研究者发现,Fable 5.1 能在 SVG 图像中隐藏消息,新会话仅凭渲染后的截图、无需预先约定编码方案即可恢复 78% 的消息。测试包含 15 种语言的 50 条短消息,其中 33 张图像采用高度编码,解码模型通过 Python 工具测量视觉元素并推断规则。

TechCrunch · AI

OpenAI 全面开放 Decisions API,加入决策模型市场竞争

OpenAI 于周四向所有客户开放 Decisions API,并为公开版本新增语音和视觉模态支持。该服务由 ChatGPT Luna 重新配置而来,通过加速推理和降低成本处理决策任务,OpenAI 称响应时间从一至三秒缩短至 100、120、180 毫秒。语言辅导产品 Speak 使用该 API 后,将动作间隔从 1.4 秒缩短至 .13 秒。

推荐理由:OpenAI 将 Luna 改造为低延迟决策服务,Speak 用它替换原有 LLM 后缩短了动作间隔和交互等待时间。

10月22日星期四

AI HOT · 产品

Kling 4.0 已在 OnSolo 上线,支持单次生成 30 秒原生视频

可灵(Kling)宣布 Kling 4.0 已在 OnSolo 上线,支持单次生成 30 秒原生视频。模型支持在快速动作和大运镜下保持稳定,提供立体声、更准确的口型同步及 21:9 宽屏。单个任务可叠加最多 15 个参考图和 10 个关键帧,以保持角色、镜头与剧情一致。

10月21日星期三

Hacker News 首页

Penmentor 亮相:让 Claude 像老师一样批注手写数学题

Penmentor 将 Claude、Gemini 或 GPT 接入 xournal++,按键即可在手写数学页面上标注错误、给出提示并生成交互动画。它通过 Claude Code、Codex 或 Antigravity CLI 使用已有订阅,支持整页读取、分级提示和基于 manim 的动画;演示视频使用脚本控制笔迹及固定模型回答。

Hacker News 首页

Show HN:Jev Cards 看图问答游戏,你能赢过视觉模型吗?

JMS Code 在 GitHub 发布 Jev Cards,一款让玩家与视觉模型 Jev 1.14 同图竞答的看图问答游戏,覆盖水果、国旗、地图、国际象棋和视错觉等 490 张卡片。Jev 1.14 是决策模型,一次调用即读取图片与问题,为每个选项返回概率,约四分之一秒作答且不生成文本。游戏提供限时冲刺、10 秒一题的 Versus、连胜和好友同题实时对战模式。

10月20日星期二

The Decoder

MiniMax M3.1 Flash 如何体现中国 AI 价格竞争仍在下探

MiniMax 发布推理模型 M3.1 Flash,Artificial Analysis Intelligence Index 从前代 M3 的 29 分升至 42 分,单任务成本降至不到一半、约 $0.22。

推荐理由:MiniMax M3.1 Flash 的单任务成本低于 DeepSeek,在高难度问答和事实准确率测试中领先,综合智能指数略低。

Google 博客 · Gemini

用 Gemini 搭配造型的 4 个技巧

造型师 Sydney Bordonaro 用 Gemini 为分散各地的职业运动员客户预览整套穿搭:上传衣物图片即可合成上身效果图,再通过对话单独替换靴子、外套等单品。她还会把成图发给客户争取确认,并在活动前拍下衣物污渍照片,让 Gemini 给出用现场物品处理的步骤。

10月19日星期一

AI HOT · 技巧与观点

n8n 教程:在 NVIDIA DGX Spark 上离线运行全套 AI 工作流

n8n 教程展示如何在一台 NVIDIA DGX Spark 上部署七个模型,通过 LiteLLM 的统一接口运行不调用云端 API 的 AI 工作流。实测模型栈占用 108GB 内存,发票字段提取关闭思考后从 12.1s 降至 0.59s,并提供模型版本锁定、服务配置与 n8n 接入步骤。并行生成图像时,单用户聊天速度下降 69%,四用户场景下降 65%,共享 GPU 的任务需要安排调度。

10月17日星期六

Hacker News 首页

DeepSeek V4.1 Flash 1017 发布,采用 CED 架构与原生图像理解

DeepSeek V4.1 Flash 1017 是 2026 年 10 月 17 日的模型快照,由 DeepSeek 以 deepseek-flash API 模型名提供服务。

推荐理由:DeepSeek V4.1 Flash 将缓存内存压至上一代约四分之一,降低多步骤智能体任务的缓存开销。