跳到正文

#多模态

今日 1 条

今天 · 11月17日星期二 · 1 条

OpenAI News

OpenAI 推出儿童性虐待材料检测工具及配套保护措施

OpenAI 推出儿童性虐待材料(CSAM)图像分类器,并提供 ChatGPT 干预措施、开发者指南及执法调查支持。分类器可检测潜在 CSAM,包括 AI 生成材料,向经审核组织免费提供 API 访问;早期评估估计,在发现数量大致相同的虐待图像时,标记图像量减少 48%。

推荐理由:OpenAI 的新图像分类器在早期评估中识别出数量相近的虐待图像,同时减少了 48% 的标记量,降低人工复核负担。

11月13日星期五

DeepSeek · API 更新日志

DeepSeek 发布全家桶应用 API,开放搜索、文件输入与链接阅读能力

DeepSeek 发布全家桶应用 API,开发者在原有 API 中开启对应参数,即可使用联网搜索、文件输入、阅读链接及安全校验能力。deepseek-flash 在 Messages、Responses 与 Chat Completions 接口下支持这些功能,工具调用与上下文拼接由服务端完成,搜索支持非思考模式与思考模式。

推荐理由:DeepSeek 将搜索、文件解析和链接阅读接入原有 API,并由服务端完成工具调用与上下文拼接,减少开发者自行编排这些环节的工作。

Google DeepMind

Google DeepMind 发布 Gemini 4 Hydrogen,面向日常编码与智能体工作流

Google DeepMind 发布 Gemini 4 Hydrogen,即日起在 Gemini API、AI Studio、Gemini app 和 Google Search 等渠道全球推出,面向快速编码与智能体任务执行。

推荐理由:Google 通过多模型动态调度实现接近 Carbon 的任务成功率,同时平均减少 24% 配额消耗并缩短 19% 完成时间。

Google 博客 · Gemini

Google 发布 Gemini 4 Hydrogen,面向日常编码与智能体工作流

Google 发布 Gemini 4 Hydrogen,即日起在 Gemini API、AI Studio、Gemini app 和 Google Search 等入口全球推出,主打快速编码与智能体执行。

推荐理由:Google将深度规划与快速执行分配给不同模型,自动切换在接近Carbon任务成功率的同时降低配额消耗并缩短完成时间。

Google 博客 · Gemini

Gemini 4 Hydrogen 向开发者开放,支持日常编码与智能体工作流

Gemini 4 Hydrogen 从今天起向开发者开放,面向快速迭代的日常编码与智能体工作流,强调速度与效率。它支持代码仓库编码与调试、交互式网页开发和多模态工作流,可通过四档可配置思考级别独立运行,也可与 Gemini 4 Carbon、Gemini 4 Argon 配合使用;Google 称其指令遵循更严格、编造内容更少,有助于更快交付更干净、可用于生产的代码。

推荐理由:Gemini 4 Hydrogen 提供四档可配置思考级别并支持与前沿模型协作,让日常编码与智能体工作流拥有不同的模型配置选择。

11月11日星期三

Google DeepMind

Google DeepMind 开放 Gemini 4 Carbon,面向复杂编码、网络安全与科学推理

Google DeepMind 开放 Gemini 4 Carbon,面向开发者、企业、科学家和消费者,重点支持复杂知识工作、长程智能体工作流、网络安全与科学推理。

推荐理由:Google 将 Carbon 定位于复杂多步任务,与 Argon 采用相同入门价格,但会使用更多 token 进行深入探索和验证。

Google 博客 · Gemini

Google 开放 Gemini 4 Carbon,面向复杂智能体任务与科学推理

Google 向开发者、企业、科学家和消费者开放 Gemini 4 Carbon,重点支持复杂知识工作、智能体编码、网络安全和科学推理。Carbon 在 CursorBench 4.0、WANDR 和 AutomationBench 排名第 1,Google 称其每项任务成本比表现次优的外部模型低超过 2 倍。

推荐理由:Google 将 Carbon 与 Argon 设为相同入门价格,Carbon 使用更多 token 深入推理和验证以处理复杂多步任务。

11月10日星期二

Google DeepMind

Gemini Robotics 2.5 提升机器人现实场景中的通用灵巧性

Google DeepMind 推出视觉语言动作模型 Gemini Robotics 2.5,提升机器人技能学习速度、灵巧性和安全性,并向机器人合作伙伴逐步开放。

推荐理由:Google DeepMind 将 Gemini Robotics 2.5 用于汽车零件分拣试点,把机器人可靠性测试推进到实际生产线。

11月7日星期六

11月6日星期五

Google 博客 · Gemini

用 Gemini 把随手画的草图变成可交互应用

Gemini 支持上传应用草图照片,选中 Canvas 工具后输入「Can you code this app?」,即可读取图像并生成代码,在预览窗口中测试。生成的应用还能实时调整颜色、字体或功能。

Google 博客 · Gemini

Gemini Omni 1.2 Flash:生成更快、成本更低,支持更长视频

Google 推出 Gemini Omni 1.2 Flash,在 Gemini API 和 Gemini for business 正式开放,原生视频生成及编辑时长由10秒增至15秒。

推荐理由:Gemini Omni 1.2 Flash 支持在同一视频上连续修改细节,减少广告变体制作中整段重新生成的需要。

Google DeepMind

Google DeepMind 发布 Gemini Omni 1.2 Flash,支持 15 秒视频并降价 30%

Google DeepMind 发布 Gemini Omni 1.2 Flash,在 Gemini API 和 Gemini for business 全面开放,支持原生生成和编辑最长 15 秒的视频。

推荐理由:Gemini Omni 1.2 Flash 支持对同一视频进行多轮局部修改,减少制作广告变体时重新生成整段视频的成本。

11月4日星期三

OpenAI News

OpenAI 用 AI 加速实体产品的设计、仿真与制造

OpenAI 公布模型辅助实体产品工程的研究进展,涵盖机械、电气和系统设计,并宣布与 Mazda 开展研究合作。两名成员用 Astra 在不到一周的业余时间内设计了可与 Codex 对话的设备,制造商在不到一个月内完成小批量原型,但制造前仍需多轮审查和迭代,以处理生产限制、公差及装配细节。

推荐理由:OpenAI 用 Astra 串联设备的机械、电路与软件设计,制造前仍需多轮审查来处理生产限制、公差和装配细节。

11月3日星期二

Google 博客 · Gemini

Google 回顾 2026 年 10 月 AI 更新,涵盖 Gemini 4 与 Genie 4

Google 回顾 2026 年 10 月 AI 更新,重点包括 Gemini 4 Argon 全球推出、Gemini 4 Carbon 公布及世界模型 Genie 4。

推荐理由:Google 将 Argon 全球开放与 Carbon 限定测试分开推进,两款前沿模型的使用入口与安全测试阶段有明确差异。

10月29日星期四

Mistral AI

Mistral Large 4(Le Chonk)提升编码与防御安全能力

Mistral AI 发布改进版 Mistral Large 4(Le Chonk)的开放权重,这款 1-trillion-parameter 原生多模态模型提升了编码、防御性网络安全与推理效率。

推荐理由:Mistral Large 4 开放权重并允许自托管与定制,经营模型即服务的企业须另获商业许可,自主部署与商业使用的授权边界明确。

Google 博客 · Gemini

Google 与 XREAL 推出 Android XR 有线眼镜 XREAL AURA,支持办公、观影与游戏

Google 与 XREAL 正式推出搭载 Android XR 的有线 XR 眼镜 XREAL AURA,Gemini 可理解现实视野及屏幕内容并提供帮助。眼镜重量低于 95 克、视场角为 70 度,通过线缆连接便携计算模块,支持多窗口应用及 USB-C 笔记本屏幕镜像,Gemini 还能高亮视野中的关注对象。

推荐理由:XREAL AURA 将 Gemini 接入现实视野与笔记本窗口,让用户在多窗口办公时直接围绕眼前内容获取帮助。

10月28日星期三

Google DeepMind

Google DeepMind 发布世界模型 Genie 4,支持原生音频与实时交互模拟

Google DeepMind 发布世界模型 Genie 4,支持原生音频、交互式对白和自然语言实时修改场景,已向可信测试者开放研究预览。Gemini 3.8 Flash 在模拟中持续观察场景、拆解目标并检查执行进度,帮助维持多步骤事件的连贯性;模型仍存在物体持久性漂移、复杂物理交互和长期一致性等限制。

推荐理由:Genie 4 将原生音频与实时场景控制接入世界模拟,让创作者能在动态场景中调整镜头、对白和动作来试演想法。

10月27日星期二

Google 博客 · Gemini

Gemini 4 Argon 的 8 个应用实例:从复杂资料整理到交互式三维设计

Google 展示了 Gemini 4 Argon 的 8 个应用实例,涵盖复杂资料整理、交互工具、可玩三维场景及动画生成。模型在 Antigravity 中将 NASA 跨越 72 次火星飞行的 80,000 多份原始文件整理为演示文稿,也能协调子智能体、Blender MCP 和 Nano Banana,将真实桌面照片转为可玩的三维赛道。

推荐理由:Google 展示了 Gemini 4 Argon 从照片构建可玩三维场景的方法,将子智能体协作与建模工具调用串联到同一任务中。

OpenAI News

Greptile 借助 GPT-6 Astra 将缺陷检测拓展到代码审查之外

Greptile 用 GPT-6 Astra 的 computer use 能力自动化应用测试:为 pull request 启动开发服务器、把浏览器调整为 iPhone 尺寸视口并模拟用户操作,靠模型的视觉理解发现代码审查看不出的问题。Greptile 还通过 MCP server 把代码库知识库接入 Codex,数千客户已连接,AI 生成代码的回退次数随之减少。

OpenAI News

OpenAI 发布 GPT-6.1 Terra,提升视觉推理与电脑操作能力

OpenAI 发布 GPT-6.1 Terra,结合视觉推理、电脑操作与自然写作能力,标准 API 价格较 GPT-5.6 Terra 和 GPT-6.1 Sol 降低 50%。

推荐理由:OpenAI 将 GPT-6.1 Terra 的标准 API 价格降低 50%,其电脑操作评测成绩较 GPT-5.6 Terra 提高 15 个百分点。

Google 博客 · Gemini

15 名大学生分享他们最爱的 Gemini 功能

Google 邀请 15 名 Google Student Ambassadors 分享他们最常用的 Gemini 功能,涵盖 Study notebooks、Gemini Live、Guided Learning、学习指南生成、自定义测验、无限上传、Audio Overviews、Nano Banana 图像生成和 Chrome 中的 Gemini。

10月24日星期六

Google 博客 · Gemini

5 位开发者如何用 Gemini 4 Argon 构建三维模拟与多人游戏

Google 展示了社区开发者使用 Gemini 4 Argon 构建的 5 个项目,涵盖三维模拟、实时数据可视化和多人浏览器游戏。案例包括水上飞机模拟、结合 NASA 野火数据与美国地质调查局地震数据的交互地球仪、喷气发动机模拟、由单张图像生成的交互式马车,以及多人夺旗游戏 Backyard Rascals。

10月20日星期二

Google 博客 · Gemini

用 Gemini 搭配造型的 4 个技巧

造型师 Sydney Bordonaro 用 Gemini 为分散各地的职业运动员客户预览整套穿搭:上传衣物图片即可合成上身效果图,再通过对话单独替换靴子、外套等单品。她还会把成图发给客户争取确认,并在活动前拍下衣物污渍照片,让 Gemini 给出用现场物品处理的步骤。

10月14日星期三

Google DeepMind

Gemini 4 Argon 为复杂工程、专业工作流与科研难题而打造

Google DeepMind 的 Gemini 4 Argon 今日全球开放,面向编码、金融、法律、网络安全和科学领域的复杂多步骤任务,通过 API、Google Antigravity、Gemini app 和搜索 AI Mode 等入口提供访问。

推荐理由:Google 用 Gemini 4 Argon 将 Chrome 跨数百个文件的架构重构从数月缩短至数周,加快复杂代码库的工程改造。

Google DeepMind

Google DeepMind 展示 Gemini 4 Argon 的机器人推理与控制能力

Google DeepMind 介绍 Gemini 4 Argon 在机器人控制、Real2Sim、物理理解和自我改进中的应用,称其纯推理 ERQA 得分为87%。

推荐理由:Google DeepMind 用 Argon 从实景重建仿真并生成训练数据,将示例中的机器人任务成功率从56%提升至75%。

Google 博客 · Gemini

Gemini 4 Argon:为解决高难度问题而打造

Google 今日全球开放 Gemini 4 Argon,面向复杂编码、金融、法律、网络安全和科学任务,提供 API 及订阅用户入口。Gemini API 支持 1M 输入输出统一 token 上限,初始定价为每百万输入 tokens $2、每百万输出 tokens $10,缓存输入 tokens 优惠 95%。

推荐理由:Google 用 Gemini 4 Argon 完成跨数百个文件的 Chrome 架构重构,将原需数月的工程工作缩短至数周。

10月8日星期四

OpenAI News

OpenAI 向更多 ChatGPT 用户推出 GPT‑6 与 Intelligent UI

OpenAI 推出面向更多 ChatGPT 用户的 GPT‑6,新增 Intelligent UI,可在回答中组合文字、图形、按钮、表单和交互工具。模型支持先回答再继续思考补充,内部评测中 GPT‑6 Instant 在需要网页搜索的问题上平均提前 44% 开始回答,相比对象为 GPT‑5.6 Instant。

推荐理由:OpenAI 将交互界面生成融入 GPT‑6 的回答流程,让用户直接在对话中调整输入、探索图解和使用临时生成的工具。

10月7日星期三

Google DeepMind

Google DeepMind 发布 EmbeddingGemma 2,支持端侧多模态嵌入向量

Google DeepMind 发布 EmbeddingGemma 2,基于 Gemma 4 架构,将文本、代码、图像、视频和音频映射到统一嵌入向量空间。模型拥有 740 million 参数,采用 Apache 2.0 许可证,支持 8K token 上下文窗口及完全离线的跨模态搜索与 RAG;纯文本任务仅需 270M 参数,输出向量可从 768 维缩减至 128 维。

推荐理由:EmbeddingGemma 2 将跨模态检索放到本地设备运行,让文本、图像、音频和视频检索无需将数据传至云端。

10月6日星期二

Mistral AI

Mistral AI 发布 Mistral Large 4 公开预览,计划月底开放权重

Mistral AI 发布原生多模态模型 Mistral Large 4(ML4)公开预览,现可通过 Mistral Studio 的 API 试用,计划本月底开放权重。

推荐理由:Mistral AI 计划开放 ML4 权重并支持私有部署,使组织能在自身政策下开展安全工作,减少对供应商访问权限和拒绝策略的依赖。

10月2日星期五

Google 博客 · Gemini

Google 推出 Gemini Live Guided Vision,为 Android 用户提供无障碍视觉辅助

Google 推出 Gemini Live 的 Guided Vision 功能,通过实时视觉描述和语音取景提示,为盲人、低视力用户及需要视觉辅助的人提供帮助。

推荐理由:Google 为 Gemini Live 加入实时视觉描述与取景语音提示,让盲人和低视力用户能通过对话获取日常视觉信息。

10月1日星期四

Google DeepMind

Google DeepMind 发布 Gemini 4 Argon 前沿模型

Google DeepMind 发布新一代前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向受信任的网络安全防御方开放,随后逐步扩展至开发者、企业和消费者。

推荐理由:Gemini 4 Argon 先向受信任的网络安全防御方开放,并公布每百万输入 token 2 美元、输出 10 美元的定价,以及从 64K 提升到 1M 的输出上限。

Google 博客 · Gemini

Google 发布 Gemini 4 Argon,先向可信网络防御团队开放

Google 宣布新模型 Gemini 4 Argon,通过 Fairwind Program 向部分可信网络防御团队逐步开放,面向编码、企业知识工作和网络安全防御。

推荐理由:Google 将 Gemini 4 Argon 的输出上限从 64K 提升至 1M tokens,为复杂任务的单次长程推理提供更大空间。

9月25日星期五

Google DeepMind

Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在原生实时对话模型上加入近实时视频生成,实现带唇形同步、自然表情和流畅轮次切换的动态视觉形象。

推荐理由:Gemini 3.8 Live 在实时对话模型上加入近实时视频生成,支持唇形同步与97种语言切换,并可在对话中异步调用工具,展示了企业级多模态交互的当前形态。

9月24日星期四

Google 博客 · Gemini

Google 推出 Gemini 3.8 Live with Live Avatar,已在 Gemini Enterprise 提供

Google 推出 Gemini 3.8 Live with Live Avatar,将近实时视频生成与原生实时对话结合,即日起在 Gemini Enterprise 提供。它可同时处理视觉和音频输入,在持续对话时异步调用工具,并支持在 97 种语言间切换时同步调整口型与表情。企业可使用预设形象或通过参考图像定制形象,定制创建目前仅向企业许可名单开放,生成的音频和视频嵌入 SynthID 水印。

推荐理由:Google 将实时语音对话与动态虚拟形象结合,并支持在持续交谈时后台调用工具,让企业客服和交互式引导无需为取数中断对话。

9月10日星期四

DeepSeek · API 更新日志

DeepSeek-V4.1-Flash 发布,支持原生视觉理解并下调 API 价格

DeepSeek 今天发布 DeepSeek-V4.1-Flash,作为全新模型结构系列中尺寸最小的模型,具备原生多模态视觉理解能力。模型已上线 DeepSeek API,使用 deepseek-flash 即可调用,API 价格同步下调;旧模型 V4 Flash 与 V4 Flash Vision Exp 已下线,其调用名称暂时路由至 V4.1 Flash。

推荐理由:DeepSeek 将旧模型名称暂时路由到 V4.1 Flash 并同步下调 API 价格,现有调用可保持名称兼容但会切换模型。

9月8日星期二

OpenAI News

OpenAI 发布 ChatGPT Images 2.5,生图速度翻倍,还加了个手绘板功能

OpenAI 发布 ChatGPT Images 2.5,称其为新的 SOTA 图像模型,带来更锐利的细节、更精确的编辑和更快的生成,图像生成延迟相比 Images 2.0 最多降低 50%。

推荐理由:OpenAI 发布 ChatGPT Images 2.5,图像生成延迟较 2.0 最多降低 50%,并新增手绘板草图输入功能。

9月2日星期三

Google 博客 · Gemini

Gemini 推出智能体视频理解功能,token 消耗最高降低 88%

Google 推出智能体视频理解功能,支持 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite,视频分析成本最高降低 66%、token 消耗最高降低 88%、准确率最高提升 7%。

推荐理由:Gemini 用智能体按需检索视频片段,减少固定帧率处理带来的 token 消耗与细节遗漏,使长视频分析兼顾成本和准确率。