跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

592 条精选相关主题图像生成AI 视频语音与音频

最新精选

第 121–140 条 · 共 592 条

8月15日星期六

AI HOT 精选

MOSS-VL:把实时互动当核心能力来做的开源视觉模型,边看边说

复旦团队开源了一个叫 MOSS-VL 的视觉语言模型家族,最大的不同是它把“实时互动”——也就是模型一边接收画面一边说话——当作一等能力来设计。它用了一种叫门控交叉注意力的机制,把视觉信息放在解码序列外面处理,所以生成第一个字的延迟比同底座的 Qwen3-VL-8B 低了 2.8 到 5.1 倍,画面信息越多优势越明显。

推荐理由:复旦团队开源的 MOSS-VL 把实时互动作为架构设计目标,门控交叉注意力让视觉信息在解码序列外处理,首字延迟比同底座 Qwen3-VL-8B 低 2.8 到 5.1 倍。

Computing Life · Share · 鸭哥调研

给 DeepSeek V4 接一个 3B 的视觉前端,今天就能跑

DeepSeek V4 的 API 不收图片,但 Liquid AI 新出的 LFM2.5-VL-3B 可以当它的眼睛。作者在自家车库摄像头上零样本测了一把,判断门开没开准确率 94.3%,本地跑完只要 1.5 秒。图片不出设备,只有“门开了”这类文字结果上云做推理。

推荐理由:作者用 3B 的 LFM2.5-VL-3B 给不收图片的 DeepSeek V4 做视觉前端,在车库摄像头零样本判断门开没开,准确率 94.3%、本地耗时 1.5 秒,图片不出设备。

8月14日星期五

AI HOT 精选

通义千问开源 Qwen3.8 系列:27B 稠密模型参数更少但跑分反超,2.4T 混合专家模型权重也放出来了

Qwen3.8-27B 是一个原生就能看图、读文档的多模态稠密模型,参数量只有 27B,但基准测试全面超过了上一代 Qwen3.7-Plus。它原生支持 262K 上下文窗口,用 YaRN 技术可以拉到 1M tokens,等于一次能塞进三体三部曲的量。许可证是 Apache 2.0,商用友好。

推荐理由:通义千问开源 Qwen3.8 系列,27B 稠密多模态模型跑分超过上一代 Qwen3.7-Plus,并放出 2.4T 参数 MoE 权重,采用 Apache 2.0 许可。

8月13日星期四

AI 群聊日报

闭源模型的推理过程被批量扒光,Coze CLI 偷偷劫持本地 AI 工具

今天最值得看的是闭源模型的加密思维链被大规模提取。研究人员发现,把 Claude Opus 4.8 的加密推理块直接扔给同厂的 Haiku 4.5,后者就能逐字解码。这个方法在 Claude、GPT、Gemini 三家的 API 上都跑通了,用 Haiku 解码一万条轨迹的成本大概是 720 美元。

推荐理由:研究人员把 Claude Opus 4.8 的加密推理块交给同厂 Haiku 4.5 后能逐字解码,该方法在 Claude、GPT、Gemini 的 API 上均跑通,解码一万条轨迹成本约 720 美元。

8月12日星期三

Google DeepMind

Google DeepMind 发布 SL2T 手语转文本模型,率先落地 Pixel 11 的 Gboard 与 Live Transcribe

Google DeepMind 发布多语言手语转文本模型 SL2T,首次将手语 AI 带入消费级产品,在 Pixel 11 的 Gboard 和 Live Transcribe 中支持美国手语(ASL)转英文听写,后续将扩展更多设备与语言。

推荐理由:Google DeepMind 将多语言手语转文本模型 SL2T 装进 Pixel 11 的 Gboard 与 Live Transcribe,支持美国手语转英文听写,手语 AI 从实验室走到消费级产品。

AI HOT 精选

Google Gemini 独立 App 月活用户突破 10 亿,追上 ChatGPT 6 月的水平

Google CEO Sundar Pichai 在 X 上宣布,Gemini 独立 App 的月活用户数超过了 10 亿,这是 Google 第 14 个达到这个量级的产品。这个数字只算独立 App,没把搜索里的 AI 模式等其他入口算进去。ChatGPT 在今年 6 月刚跨过 10 亿月活,Gemini 现在跟得很紧。

推荐理由:Google CEO 宣布 Gemini 独立 App 月活突破 10 亿,成为 Google 第 14 个达到该量级的产品,这一数字只计独立 App,与 ChatGPT 今年 6 月的水平相当。

8月11日星期二

纽约时报中文网

Meta 把付费模型 Muse Spark 免费开放了,新模型叫 Muse Glimmer

Meta 发布了一个叫 Muse Glimmer 的开放权重模型,它和上个月推出的付费闭源模型 Muse Spark 几乎一样,能生成代码、文字和图片。开放权重意味着你可以下载模型文件自己跑,但底层代码没全公开,不算彻底的开源。扎克伯格同时发了篇 14 页的文章,核心观点是超级智能不该被几家大公司攥在手里,并宣布拿 10 亿美元投给数据中心所在的社区。

推荐理由:Meta 将上月付费闭源模型 Muse Spark 的能力几乎原样放进开放权重的 Muse Glimmer,可下载模型文件自行部署,但底层训练代码未公开。

8月10日星期一

AI HOT 精选

SGLang 第一时间适配 Meta 的本地智能体模型 Muse Glimmer,单卡 RTX 5090 跑到每秒 1452 个 token

Meta 发布了 Muse Glimmer,一个 300 亿参数的多模态模型,专门为在本地硬件上跑智能体工作流设计。SGLang 推理框架在发布当天就提供了支持,并做了针对性优化。

推荐理由:SGLang 在 Meta 发布 Muse Glimmer 当天完成适配,并针对本地智能体工作流优化推理,单卡 RTX 5090 达到每秒 1452 个 token。

Hacker News 首页

Meta 开源 Muse Glimmer:一个能在本地单 GPU 上跑的 30B agent 模型

Meta 把 Muse Glimmer 的权重以 Apache 2.0 协议放出来了。这是一个 30B 参数的模型,专门为常驻本地的 agent 工作流设计,小到能在 Mac 或 PC 的单张消费级显卡上跑。用 4-bit 量化能把模型压到 20 GB 以下,在 24 GB 或 32 GB 显存里还能留出空间给 KV cache 和视觉编码器。

推荐理由:Meta 以 Apache 2.0 协议开源 30B 参数的 Muse Glimmer,4-bit 量化后不到 20 GB,可在单张消费级显卡上常驻运行本地 agent 工作流。

8月6日星期四

AI HOT 精选

阿里云发布 Qwen-Image-3.0,高分辨率生图起步价 0.03 美元

Qwen-Image-3.0 主打生产环境可用,能吞下 4500 个 token 的提示词,相当于一篇小作文。官方说文字准确率超过 100%,logo 不会出现乱码或破损,原生支持 12 种语言。高分辨率生图起步价 0.03 美元,按量付费。不过正文只给了标题和链接,没提模型架构、推理速度和具体跑分,这个准确率数字先别太当真,等第三方实测再说。

推荐理由:阿里云发布 Qwen-Image-3.0,主打生产环境可用,支持 4500 token 提示词与 12 种语言,高分辨率生图按量付费起步价 0.03 美元。

Product Hunt · AI

Mistral 发布 Shieldstral:一个 3B 开源多模态护栏,能在推理时用自然语言定义安全策略

Mistral 这周在 Product Hunt 上架了 Shieldstral,一个 30 亿参数的开源多模态安全护栏。你可以直接用大白话写安全规则,它就能同时检查文字、图片或混合内容,最后只吐一个 token 告诉你过还是不过。一张 16GB 显存的消费级显卡就能在本地跑起来。

推荐理由:Mistral 开源了 30 亿参数的 Shieldstral 多模态安全护栏,支持用自然语言定义安全规则,一张 16GB 显存消费级显卡即可本地运行。

AI HOT 精选

Simon Willison 用 Claude Fable 5 一次性生成了完整的《Raccoon Heist》3D 游戏

Simon Willison 把 2022 年的一条老推文和两张概念图丢给 Claude Fable 5,没再给任何指令,模型自己选型 Three.js、调用 OpenAI 的 gpt-image-2 生成贴图,做出了一个能在浏览器里玩的 3D 浣熊盗窃游戏。整个过程在手机上完成,通过 GitHub Pages 部署。

推荐理由:Simon Willison 只给一条老推文和两张概念图,Claude Fable 5 便自主选定 Three.js 并调用图像模型生成贴图,全程在手机上完成并部署上线。

8月5日星期三

Hacker News 首页

Qwen 发布 Image 3.0 Pro:一次生成带小字、多图排版的复杂版面,生图价格每千张 4 美元

这个模型能一口气处理 4500 个 token 的输入,直接生成报纸、菜单、故事板这类信息密度很高的图,而且图里还能再套图。它能把文字稳定渲染到 10 像素那么小,支持 12 种语言和 20 多种字体,对皮肤毛孔、发丝、微表情的还原也接近照片质感。

推荐理由:Qwen 发布 Image 3.0 Pro,能一次生成报纸、菜单这类高密度版面,并把文字稳定渲染到 10 像素,每千张 1K 图 4 美元的价格给出了生图成本的一个参照。

Hacker News 首页

Mistral 发布 Shieldstral:一个 3B 参数、开放权重的多模态内容审核模型

Mistral 推出了 Shieldstral,一个 30 亿参数、开放权重的模型,专门用来检查文字和图片内容是否违规。它可以在本地或边缘设备上跑,负责审核用户输入和模型输出。官方博文没给跑分、延迟数据,也没提价格,只把它定位成一个安全过滤器。我会等第三方评测,但 3B 这个尺寸对于自己部署审核来说确实够轻量。

推荐理由:Mistral 发布 30 亿参数开放权重的 Shieldstral,用于检查文字和图片内容是否违规,并可在本地或边缘设备运行,为自建审核过滤提供了轻量选择。

8月4日星期二

AI HOT 精选

商汤开源 SenseNova U1,一个模型同时搞定推理和出图

商汤放出了一个叫 SenseNova U1 的开源模型,把逻辑推理和图像生成塞进了同一条流水线。它能直接把一句提示词变成带图的结构化幻灯片,也能一步步边想边画,比如演示怎么分六步画出一条龙。模型代码和权重已经挂在 HuggingFace、GitHub 和 SenseNova Studio 上。

推荐理由:商汤开源 SenseNova U1,把逻辑推理与图像生成放进同一条流水线,代码和权重已公开在 HuggingFace、GitHub 和 SenseNova Studio。

AI 群聊日报

Qwen 3.8 Max 跑分追平 Fable 5,权重下周开源;群里 agent 自己会下本地模型了

Qwen 3.8 Max 正式发布,2.4 万亿参数,Terminal Bench 2.1 得分 86.6,PaperBench 93.0 超过 Fable 5 的 88.8。群里有人充了 500 块的 token 额度一天就用完了,实际体感大概在 Luna 和 Terra 之间,主要优势还是便宜。

推荐理由:Qwen 3.8 Max 以 2.4 万亿参数发布,PaperBench 得分 93.0 高于 Fable 5 的 88.8,下周权重开源,群聊里还记录了 500 元额度一天用完的实际使用体感。

Latent Space

阿里通义千问发布 Qwen3.8-Max 和 27B,下周开源模型权重

阿里甩出了 Qwen3.8-Max,一个 2.4 万亿参数的超大模型,主打编程和长时间自主干活。官方说它能连续 10 多天自己写代码不崩,还能在 125 小时内独立跑完一套 AI 研究流程,最后效果比原论文的基准还高了 2.71 分。在模拟一整年经营的电商测试里,它赚了 4.16 倍的回报。

推荐理由:阿里发布 2.4 万亿参数的 Qwen3.8-Max,主打编程与长时间自主任务,官方给出连续十余天写代码和 125 小时跑完研究流程的具体指标。

AI HOT 精选

欧盟 AI 透明度规则今天生效,不标 AI 内容最高罚 1500 万欧元

从今天起,在欧盟运营的科技公司必须给 AI 生成的文字、音频、视频和深度伪造内容打上标签,并告诉用户他们正在跟机器对话。违规罚款最高 1500 万欧元,或者全球年营业额的 3%。欧盟还发布了一套官方标签图标,公司可以直接用,不用自己设计。

推荐理由:欧盟 AI 透明度规则正式生效,在欧运营的科技公司须为 AI 生成内容打标并告知用户正与机器对话,违规最高罚 1500 万欧元或全球年营业额 3%。

8月3日星期一

Computing Life · Share · 鸭哥调研

Google Earth 上线 AI 生图一天就撤下:界面承诺的信用,比水印跑得更远

2026 年 7 月 30 日,Google 在 Google Earth 里加了一个 AI 生成按钮,让用户能在真实卫星底图上用 Nano Banana 2 模型合成假想图,结果一天之内就紧急撤回了。

推荐理由:Google 在 Google Earth 上线 AI 生图按钮后一天内撤回,这条梳理了产品界面承诺与 AI 内容治理之间的落差。

8月1日星期六

Hacker News 首页

探索式建模:给模型 K 次猜测机会,只拿最好的那次来训练

Alexi Gladstone 提出了探索式建模(XM),核心思路很简单:每一步让模型生成 K 个候选结果,然后只拿最好的那个来训练。这相当于在数据和参数量之外,给预训练增加了第三条可以扩展的轴。实验显示,增加探索次数能稳定提升图像、视频和语言模型的效果,而且模型规模越大,收益越明显——数据量增加时,提升从 7% 涨到 36%。

推荐理由:Alexi Gladstone 提出探索式建模,每步生成 K 个候选只取最优结果训练,在数据和参数量之外为预训练增加一条可扩展的轴,图像、视频和语言模型上探索次数越多效果越好。