跳到正文

#多模态

今日 1 条

5月17日星期日

彭博科技

苹果 iOS 27 会给 Siri 加一个独立 App,聊天记录会自动删除

彭博社爆料 iOS 27 会有一个类似 ChatGPT 的 Siri 独立应用,核心卖点是聊天记录会自动清理。文章没提保留多久、什么时候上线,也没说具体功能细节。另外 Siri 这次可能还是挂着“Beta”标签,同时 Genmoji(AI 生成表情)也会升级。

推荐理由:我会先打个折:标题很抓人,但正文能落地的料太少。Bloomberg 这篇把 Siri 往 ChatGPT 方向靠,还强调聊天会自动删,隐私角度确实能引起讨论。可翻遍正文,只说了 iOS 27 会有 Genmoji 升级,自动删除的保留多久、什么时候上线、Siri 本身怎么改,全都没披露。这点先别太激动,信息缺口摆在那。不过对做 AI 的人来说,苹果在隐私和功能之间怎么取舍,本身就是个长期看点,所以还是值得扫一眼。

Google DeepMind

Google 在 Search、Gemini、Chrome 和 Pixel 扩展内容溯源与验证工具

Google 宣布在 Search、Gemini、Chrome、Pixel 和 Cloud 扩展内容透明度与验证工具,并深化行业合作。SynthID 已为超过 1000 亿张图片和视频、60000 年音频嵌入水印,Gemini 应用中的 SynthID 验证已被使用 5000 万次,该能力今日扩展到 Search、未来几周进入 Chrome。

推荐理由:原文列出 SynthID 与 C2PA 在 Search、Gemini、Chrome、Pixel 的落地范围,可据此判断内容溯源工具的可用边界。

量子位 · 公众号

TGO:不用人工挑好坏样本,靠一个分数就能把生图模型调得更听话

新加坡国立大学搞了个叫 TGO(阈值引导优化)的方法,被 ICML 2026 收了。它最大的好处是不需要提前构造“这张比那张好”的偏好对,直接拿一个标量分数(比如美学分、图文匹配度)就能做对齐。做法是先让模型生成一批图,算出分数的分布,定一个阈值:高于阈值的当正样本往上拉,低于的当负样本往下压。论文在 Stable Diffusion v1.5、FLU...

推荐理由:这篇 ICML 2026 的论文提了个叫 TGO 的方法,核心是把标量反馈(比如一个打分)直接转成模型的正负更新方向,不用像传统 RLHF 那样先构造偏好对。我会先打个折:正文没披露具体节省了多少标注成本或计算量,但思路本身挺直接——用分数分布的阈值来决定哪些样本该学、哪些该躲。实验覆盖了四个主流视觉生成模型,从 SD v1.5 到 FLUX 都有,说明不是单点特调。这点先别太激动,因为论文偏研究向,离工程落地还有距离,但对正在头疼对齐数据采集的团队来说,值得看一眼。

量子位 · 公众号

一只机器狗,把英伟达的算力王座拱翻了

蔚蓝科技发了款消费级机器狗 BabyAlpha A3,用六颗芯片搭了个异构计算集群,直接在本地跑 7B 参数的大模型,推理速度到 280 TPS。视觉上配了 6600 万像素的摄像头,每秒能扫出 223.2 万个点云数据点,计划第三季度上市。不过正文因为环境验证没抓到具体内容,上面这些数字都来自外部摘要,实际表现和定价还没法核实。

推荐理由:我会先打个折:正文是单篇产品发布稿,没披露功耗、价格和对比基准,所以别太激动。但这条消息确实有料——蔚蓝科技在机器狗里塞了6颗芯片搭异构集群,本地跑70亿参数模型,推理速度标到280TPS,Q3就要上市。对做端侧部署和机器人的人来说,这等于给“离了英伟达行不行”提供了一个实物样本。信息缺口也很明显:没写具体芯片型号、没给功耗数据、没说明280TPS是在什么精度和batch size下测的,这些都会影响实际可用性。综合来看,角度抓人、事实具体、但验证信息不足,放在featured门槛上刚好。

AI HOT 精选

Grok Imagine 图像生成上线 X,所有用户都能用,但没公布模型参数和收费

Grok Imagine 在 X 上开放给所有人了,用他们最新的文本到图像模型,能生成写实风格的高质量图片,支持多种宽高比。正文没提模型参数量、是否收费、有没有地区限制,也没给生成速度或样本对比。我会先打个折:功能是开了,但关键信息全缺,别急着当主力工具。

推荐理由:我会先打个折:正文只说了能用、能调比例,模型参数、价格、地区限制一概没提,所以别当完整评测看。但 Grok 把生图直接嵌进 X 的时间线,等于在社交场景里抢了 Midjourney 和 DALL·E 的入口,从业者会盯着两点——一是生成质量和审核尺度,二是这功能到底免不免费、能撑多久。

FT · 科技

FT 称中国 AI 公司在视频生成上反超美国对手,但正文被付费墙挡住,没看到具体模型和评测数据

FT 这篇文章的标题说字节跳动和快手等中国 AI 公司在视频生成领域已经领先美国对手,在广告和娱乐场景里效果更好。但点进去只看到安全验证页面,正文完全没加载出来,所以不知道他们拿什么模型比的、用的什么评测标准、样本量多大、延迟和成本怎么样。我会先打个折——标题里的“领先”目前只能当个信号看,等看到具体数据再下判断。

推荐理由:FT 这篇标题很猛,说中国公司在视频生成上反超美国,但正文信息很薄。只提到字节和快手在广告、娱乐视频质量上领先西方对手,具体怎么比、用什么标准、样本多少全没写。我会先打个折:标题的“领先”目前只能当个信号看,别急着当定论。不过视频生成确实是现在中美模型竞赛里最卷的一条线,这条消息对关注多模态落地的人有提醒价值,所以给了 featured 门槛分。

机器之心 · 公众号

世界模型的两条路线和一场百亿赌局

这篇文章是机器之心编译自 MoE Capital 的一篇博客,梳理了“世界模型”这个概念的两条发展脉络。一条是 AI 学术圈常说的,让模型在脑子里推演环境变化、做规划;另一条来自游戏和影视工业,追求用模型直接生成逼真的 3D 世界。文章提到,过去一年半里,有超过 100 亿美元的资金涌入了这个方向。里面举了一个具体例子:DreamDojo 这个项目用 ...

推荐理由:这篇是编译的科普+评论,不是一手发布,但把世界模型两条路线讲得清楚,还给了百亿美元和44711小时视频这些具体数字。我会先打个折,因为信息密度集中在解释概念,新事实不多。不过对想快速理解世界模型热度和技术现状的人来说,读这一篇比翻论文省时间。

5月16日星期六

Hacker News 首页

SANA-WM:一个 26 亿参数的开源世界模型,能根据单张图片和镜头轨迹生成 1 分钟 720p 可控视频

NVIDIA 放出了一个叫 SANA-WM 的开源模型,参数规模 26 亿,主打的是用一张图加一条镜头移动路线,直接生成长达一分钟的 720p 视频。它把长视频生成拆成两步:先用一个混合线性注意力的主干网络跑出长序列粗稿,再用一个 170 亿参数的精修模型去改善纹理、动作和后半段的画质。训练成本不算高,64 块 H100 跑 15 天,用了约 21.3...

推荐理由:标题说 SANA-WM 是个 2.6B 参数的开源世界模型,能生成 1 分钟 720p 视频。我会先打个折:正文只给了链接、9 分和 8 条评论,训练数据、许可证、推理成本、跟其他模型的对比跑分全都没披露。2.6B 这个尺寸在视频模型里算小的,如果真能稳定跑一分钟不崩,推理成本可能比较友好,但这点先别太激动,因为没看到任何实测证据。开源是个加分项,不过没写是什么许可证,商用能不能用还不清楚。整体看,这是个有话题度的发布,但信息缺口很大,实际能力得等更多细节出来才能判断。

机器之心 · 公众号

机器人为什么需要世界模型?顶尖机构联合发布综述

这篇综述正文被微信的验证页面挡住了,我没法看到具体内容。从标题和已知信息看,NTU MARS Lab 联合几家机构发了一篇 43 页的综述,讲的是机器人世界模型。世界模型可以理解成让机器人脑子里有个对物理世界的模拟器,能预判“我动一下会发生什么”,而不是每次都靠真实试错。文章大概会梳理这类模型怎么定义、用什么架构、在哪些任务上能用,以及当前卡在哪——比...

推荐理由:我会先打个折:标题里的“震撼发布”可以忽略,但内容本身不水。这篇综述把机器人世界模型这件事拆得很细——从“世界模型到底是什么”到怎么搭、怎么测、动作一致性卡在哪,都给了结构化的梳理。对正在琢磨具身智能或仿真训练的人来说,相当于一份现成的地图,省得自己去翻几十篇论文。不过它没给出具体的性能数字或成本对比,所以别指望直接拿来算投入产出。

量子位 · 公众号

浙大和微软用3000条纯文本提示词,让视频生成模型学会理解3D空间

浙大和微软搞了个叫 World-R1 的方法,拿 Wan 2.1 模型做实验,只用了大概 3000 条纯文本提示词,没加任何 3D 标注数据,就让模型生成的视频在空间一致性上好了不少。他们设计了一套叫 Flow-GRPO 的训练流程,外加四个维度的奖励信号来引导模型。1.3B 参数量版本跑出来的 PSNR 指标比原版高了 10.23 dB,说明画面里的...

推荐理由:我会先打个折:正文没披露这3000条文本的具体来源和构造方式,也没说四维奖励里各维度的权重怎么定,所以效果能不能稳定复现还得看后续。但亮点很实在——不用费劲标视频数据,纯靠文本就让 Wan 2.1 的 1.3B 小模型在 PSNR 上跳了10.23 dB,说明用偏好对齐的思路(Flow-GRPO)去修视频里的物理一致性,这条路走得通而且成本低。对想低成本改进视频模型物理合理性的团队来说,这个方向值得跟。

Google DeepMind

Google DeepMind 发布 Gemini 3.5 Flash

Google DeepMind 发布 Gemini 3.5 模型家族,首款 Gemini 3.5 Flash 当日上线 Gemini 应用、Google Search AI Mode、Google Antigravity、Gemini API 及 Gemini Enterprise。

推荐理由:官方给出 3.5 Flash 在编码与智能体基准上的成绩和开放入口,可据此判断它在长任务工作流中的定位。

AI HOT 精选

Runway 推出 Agent,一次对话就能把产品图变成完整广告片

Runway 新上线的 Agent 功能,让你在同一个对话窗口里,上传产品照片、给点想法,它直接吐出一条制作完成的广告。官方帖子没提背后用的是哪款模型、怎么收费、能生成多长的视频,也没说目前开放了哪些地区。我会先打个折:如果它真能省掉剪辑和合成的环节,对做短视频广告的团队来说挺省钱,但实际效果和可控性还得看上手之后的表现。

推荐理由:Runway 这个广告生成 Agent 在 HKR 三项上都踩中了,但属于中等体量的产品更新。我会先打个折:正文没写用了什么模型、怎么收费、生成一支广告要多久、哪些地区能用,信息缺口不小。所以它够得上 featured,但还不到必须写一篇的程度。

5月15日星期五

r/LocalLLaMA

用 Jetson Orin NX SUPER 16GB 做了个完全离线的行李箱机器人,跑 Gemma 4 E4B,没联网也能聊

一个叫 Sparky 的行李箱机器人,核心是一块 Jetson Orin NX SUPER 16GB 的板子,跑的是 Gemma 4 E4B 模型(Q4_K_M 量化版,用 q8_0 做 KV 缓存)。首次响应延迟大概 200 毫秒,生成速度每秒 14 到 15 个 token,上下文窗口 12K。身上挂了 30 多个传感器,但没装 WiFi、蓝牙和蜂...

推荐理由:这是个 Reddit 上的个人项目帖,不是产品发布或论文,所以放在低 featured 档。我会先打个折:200ms 的缓存首 token 延迟和 14-15 tok/s 的生成速度,在 Jetson 上跑 4B 模型算是能用的水平,但别指望它反应飞快。30+ 传感器听起来唬人,正文没细说都是什么传感器、怎么融合的,这点先别太激动。真正有意思的是全离线跑 Gemma 4 E4B 还让机器人带“观点”,把本地推理做成了人格化交互,比单纯报参数好玩。

MIT Technology Review · AI

中国竖屏短剧正在变成 AI 内容流水线,WHO 的全球健康目标要落空了

今年 1 月,中国平均每天上线 470 部 AI 生成的竖屏短剧。制作周期从几个月压到几周,成本砍掉了九成。剧本走向也越来越依赖播放数据,而不是编剧。这个模式正在快速复制到海外,同时也在改写编剧和摄制组的工作方式。另一条消息:WHO 最新报告显示,全球多项健康指标在倒退——2024 年新增 130 万 HIV 感染者,疟疾反弹,美洲疫苗接种率下滑,42...

推荐理由:MIT科技评论这篇把中国AI短剧流水线的产量、周期和成本数字都摆出来了,HKR三条全中。故事偏应用层,不是底层模型或产品发布,放在featured档刚好。

MIT Technology Review · AI

中国竖屏短剧正在变成 AI 内容流水线

中国短剧公司已经把 AI 全面塞进整部剧的制作里了。DataEye 的数据显示,2026 年 1 月平均每天有 470 部 AI 生成的短剧上线。FlexTV 的副总裁说,以前拍一部剧从构思到剪辑要三四个月,现在用 AI 不到一个月就能搞定;在北美拍一部剧的成本大概 20 万美元,AI 能把这个数字砍掉 80% 到 90%。像 Kunlun Tech ...

推荐理由:这篇不是模型发布或平台更新,而是产业现场报道,用 DataEye 的数据把 AI 短剧的产量和成本压缩讲得很清楚。我会先打个折:正文没披露具体技术栈和模型细节,所以分数停在 80 不往上拉。HKR 三项都踩中了——钩子是内容工厂,知识是实打实的周期和成本数字,共鸣点落在从业者最敏感的饭碗和规模冲击上。

量子位 · 公众号

160行代码就能跑通LeCun的JEPA世界模型

一个叫keon/jepa的开源教学库把LeCun提出的JEPA世界模型拆成了5个独立变体,每个都用单个PyTorch文件实现,最短160行,最长278行,只依赖PyTorch和torchvision。其中iJEPA在CIFAR-10上跑了100轮,线性探测准确率52.7%,不算高,但胜在代码够短、能跑通。V-JEPA、C-JEPA和LeWorldMod...

推荐理由:我会先打个折:这不是新模型或新论文,是一个教学仓库,把 JEPA 的几个变体写成极简 PyTorch 单文件,方便看懂核心思路。亮点是代码量压到 160 行起步,依赖干净,适合想快速上手世界模型、又不想啃大项目的人。正文没披露训练数据或性能对比,所以别当生产级工具用,但作为学习材料够直接。

新智元 · 公众号

谷歌把 Gemini 塞进鼠标指针,指哪就能让 AI 干活,连提示词都不用写

谷歌 DeepMind 放出了一个叫“AI 指针”的实验项目,核心是把 Gemini 模型直接挂在鼠标指针上。你在屏幕上指一个区域,AI 就能理解上下文并执行操作,比如修图或在地图上找地点。目前有两个 Demo 在 Google AI Studio 里能玩:一个是图片编辑,另一个是地图地点查找。文章还提到 Chrome 的指针选中功能和“Googleb...

推荐理由:我会先打个折:目前只是 Demo 级别,正文没披露延迟、成功率或 API 细节,所以分数停在 78 而不是更高。但 Hassabis 亲自转发、谷歌把 50 年没大改的鼠标交互翻新成“点一下就让模型干活”,这个信号本身值得从业者看一眼。两个 Demo 都放在 AI Studio 里,说明谷歌在试探把 Gemini 塞进更轻量的操作入口,而不是只堆聊天框。这点先别太激动,但如果后续有性能数据和开放接口,分量会明显上去。

5月14日星期四

r/LocalLLaMA

单卡跑通一句话生成电影级短片:FLUX.2 出角色,Wan2.2 做动画,带自动质检和 9 语配音

这个叫 StudioMI300 的开源流水线,把一句英文提示词变成 720p 短片,全程跑在一张 AMD Instinct MI300X 上。流程分 8 步:先用 FLUX.2 [klein] 生成角色关键帧,再用 Wan2.2-I2V 把静态图转成动画,中间加了一道视觉评分和自动重试的质检,最后配上音乐和 9 种语言的旁白。开发者把单条片子的生成时间...

推荐理由:HKR 三项都成立:帖子把一句提示词到成片的完整链路讲清楚了,有硬件型号、阶段数和压缩后的耗时,对想自己搭视频管线的开发者来说,省钱和可控这两点很抓人。不过来源只有 Reddit 单帖,没有第三方复现或更多验证,所以分数没再往上走。

MIT Technology Review · AI

看到自己的身体被用在 AI 换脸色情片里是什么感觉

MIT Technology Review 这篇报道讲的是成人内容创作者的身体被拿去喂 AI 做深度伪造色情片的问题。主角 Jennifer 在 2023 年用人脸识别搜自己以前的职业照,结果发现一段她 2013 年左右拍的旧视频被人换了脸——她的身体还在,脸是别人的。她说那种感觉就像自己戴着别人的脸当面具。过去大家讨论 AI 换脸色情,焦点都在那些被...

推荐理由:这篇文章不是模型发布或产品更新,而是一篇安全/政策向的特写。我会先打个折:它没有给出新的技术方案或治理框架,但它的力量在于把“非自愿合成色情”从统计数字拉回到一个人的经历上。Jennifer 的案例和 2013 年旧视频被翻出来用,说明问题比 2017 年 Reddit 那波 deepfake 热潮更早,这点对理解问题根源有帮助。正文没披露平台后续具体做了什么,也没给出可量化的治理效果,所以别把它当解决方案看。它更适合放在 featured 位置,提醒从业者安全问题的老伤口还在化脓。

新智元 · 公众号

OpenAI 企业市场王座被 Anthropic 踹了,三年头一回

根据 Ramp 从 5 万多家公司的信用卡和发票支出里拉出来的数据,Anthropic 的企业市场份额冲到了 34.4%,OpenAI 掉到 32.3%,这是 OpenAI 三年来第一次在这个指标上被反超。不过正文因为微信环境验证挂了,看不到具体细节,比如统计口径是只算 API 调用还是也包了 ChatGPT 企业版订阅、数据覆盖了多长时间,这些都没法...

推荐理由:我会先打个折:Ramp 的数据只反映它自家客户里的支出份额,不是全行业市占率,所以别直接当成“Anthropic 全面反超”。但 5 万多家企业的实际付款数据比调研问卷硬得多,34.4% 对 32.3% 这个交叉点确实说明 Anthropic 在付费企业里势头很猛。正文没披露统计周期和是否含 API 之外的订阅收入,这点信息有缺口。整体上,这是一条有事实、有数字、有竞争张力的消息,值得从业者看一眼。

量子位 · 公众号

Scale AI 创始人 Alexandr Wang 回应 LeCun、Manus 争议,并透露 Meta 用九个月重写了预训练、强化学习和数据管线

Alexandr Wang 在访谈里回应了几个近期争议。关于 LeCun 对 Scale AI 的批评,他直接说对方“没搞清楚我们在做什么”。谈到 Manus 时,他评价产品体验不错,但技术上没有看到根本性突破。他还确认 Meta 在过去九个月里把预训练、强化学习和数据处理三套系统全部重写了一遍,这个速度在业内算很快。另外他提到自家产品 Muse Sp...

推荐理由:这篇是 Alexandr Wang 的访谈,不是模型发布,所以分数不会拉满。我会先打个折,因为信息密度不算特别高,但 LeCun 的批评、Manus 的争议和他自曝“父母都是中国人”确实有话题性。Meta 9 个月重建训练栈这件事正文给了细节,说明大厂也在推倒重来,不是小修小补。Muse Spark 因为触发生化、网络、失控等安全检查暂不开源,这点先别太激动,正文没披露具体触发场景和通过标准,只能知道他们加了安全卡口。整体看,有冲突、有事实更新、有从业者关心的开源与安全矛盾,放在 featured 档合理。

机器之心 · 公众号

灵初智能用10万小时人类操作数据训练机器人,但文章正文被验证页挡住了

这篇微信文章标题说灵初智能(PsiBot)用了10万小时的人类操作数据来训练机器人策略,还提到一个叫W0的世界模型只在训练时做迁移,实际部署只跑R2。但页面被环境异常验证拦住了,正文内容完全看不到,没法确认具体怎么采集数据、在什么任务上验证、效果到底怎么样。

推荐理由:这篇讲的是灵初智能用10万小时人类操作数据训机器人策略,W0世界模型负责训练时的迁移,部署时只跑R2,省算力。我会先打个折:10万小时这个数字挺唬人,但正文没披露数据怎么采集、覆盖哪些任务、成功率多少,也没给论文或开源链接,所以只能当公司说法看。对从业者来说,W0训练期迁移、R2部署这个架构思路有参考价值,但缺验证就不好判断实际效果。整体像产品发布稿,不是可复现的研究,所以放在featured但分数没往上拉。

AI HOT 精选

Anthropic 发布 Claude 电脑与浏览器操控最佳实践,附不同模型截图分辨率上限

Anthropic 给开发者写了一份指南,讲怎么让 Claude 去操作电脑和浏览器。里面给了两个硬指标:用 Claude 4.6 API 时,截图长边不能超过 1568 像素,总像素控制在 115 万以内;换到 Opus 4.7,上限放宽到长边 2576 像素、总像素 375 万。分辨率越高模型能看到的界面细节越多,但推理成本也会跟着涨。正文没披露不...

推荐理由:Anthropic 这份第一方指南给了可操作的截图限制,不是公关稿。HKR 三项都踩中,但本质是实践手册而非模型或能力大更新,所以分数放在 72–77 这个区间。

AI HOT 精选

Runway 发布 Agent:用对话直接生成带配音和音乐的多镜头视频

Runway 新推出的 Agent 把视频制作变成了一轮对话。你描述需求,它先出概念和故事节奏,确认方向后直接生成包含多镜头、旁白、对白和配乐的成品视频,几分钟就能拿到可发布的版本。新用户注册免费计划有 1500 积分可以试做第一条。官方说它主要瞄准品牌广告、社交媒体内容和独立短片这些场景,想解决传统视频制作太慢太贵的问题。正文没披露具体的技术细节和模...

推荐理由:Runway 发了个 Agent,你用自然语言说一段话,它直接给你吐出一条多场景视频,不用再手动拼片段。免费计划送 1500 积分,够做第一个视频试试手。我会先打个折——正文没写免费额度用完怎么收费、单次生成要多少积分、视频最长多长,也没第三方实测数据,所以分数没往上拉。

r/LocalLLaMA

商汤发布 SenseNova-U1-A3B-MoT,一个模型搞定看图、推理和生成

商汤在 Hugging Face 上放出了 SenseNova-U1-A3B-MoT 模型,同时提供了 A3B MoT、8B MoT 和 0.4B LoRA 权重链接。按官方说法,这套模型用 NEO-unify 架构把多模态理解、推理和生成统一到一个模型家族里。不过 Reddit 原帖被网络屏蔽了,正文没披露具体性能数据、训练细节和实际跑分,想试的话得...

推荐理由:SenseNova 在 Hugging Face 扔了一套多模态模型权重,A3B MoT、8B MoT 加一个 0.4B LoRA,主打 NEO-unify 架构,说能把看图、推理和生成塞进一个模型。我会先打个折:正文没给任何 benchmark 分数,也没写清楚开源协议,所以性能好坏和商用限制现在全是问号。亮点是 LoRA 权重只有 0.4B,对想用消费级显卡跑多模态任务的人挺友好,这点先别太激动,等实测出来再看。整体属于有料但缺关键信息的发布,给个 featured 低段位合理。

5月13日星期三

r/LocalLLaMA

阿里达摩院放出 Ovis2.6-80B-A3B:总参数 800 亿,推理时只激活约 30 亿的多模态 MoE 模型

Ovis2.6 把语言模型底座换成了混合专家架构,总参数量堆到 800 亿,但推理时只叫醒大概 30 亿个参数,跑起来比较省算力。上下文窗口拉到 64K token,能处理的图片分辨率最高到 2880×2880,适合啃长文档、高信息密度的图表和扫描件。这次加了一个“边想边看图”的能力,推理过程中模型可以主动裁剪、旋转图片区域,在思维链里反复检查视觉细节...

推荐理由:我会先打个折:正文没给任何跑分、授权条款和实测结果,所以别急着下结论。亮点是 80B 总参数里只激活约 3B,推理成本可能压得很低,同时支持 64K 上下文和 2880×2880 大图输入,适合拿来做文档理解、高分辨率视觉问答这类吃上下文和细节的任务。MoE 结构意味着你可以用消费级硬件试试,但实际吞吐和显存占用还得自己测。这点先别太激动,等补上基准测试和开源协议再说。

量子位 · 公众号

字节提出 GRN,让生图模型像人一样边画边改,不再死磕扩散和自回归

字节跳动的技术团队搞了个叫 GRN(生成式精炼网络)的新架构,想给视觉生成找第三条路,不跟扩散模型和自回归模型硬卷。它的核心思路是让模型先生成一张粗糙的图,再反复精修,就像画师先铺大色块再慢慢抠细节。为了解决反复修图容易把图修糊、错误越攒越多的问题,他们用了三项技术:HBQ(分层二元量化)把图片压成更紧凑的离散编码,减少信息损耗;全局精炼让模型每次修改...

推荐理由:字节这篇 GRN 想走扩散和自回归之外的第三条路,核心卖点是让模型像人画画一样边生成边修改。我会先打个折:130M 参数不算大,gFID 从 3.56 涨到 3.79,画质有小幅下降,但推理步数从 50 步压到平均 24 步,省了将近一半,这个取舍在轻量场景里可能划算。技术上有三个动作:HBQ 解决量化带来的画质损失,全局精炼缓解一步步画下去误差越攒越多的问题,复杂度采样让简单区域少画几步、复杂区域多画几步,不再固定步数。正文没披露在更大模型或更高分辨率上的表现,也没给实际推理延迟的毫秒数,所以现在只能说在小模型上验证了思路。对做图像生成落地、想降...

机器之心 · 公众号

林俊旸被曝离职创业,新 AI 实验室估值冲到 20 亿美元

The Information 爆料,阿里通义千问前技术负责人林俊旸正在为一家新 AI 实验室融资,目标融几亿美元,投后估值可能到 20 亿美元。目前实验室具体研究方向、团队规模和最终估值都还没公开。

推荐理由:这条消息我会先打个折:目前只有 The Information 的融资传闻和估值数字,研究方向、团队构成、产品计划一概没提。亮点是林俊旸本人从阿里出来单干,新 Lab 估值直接喊到 20 亿美元,说明资本还在抢头部 AI 人才。但正文没披露最终估值是否敲定、钱从哪来、做什么方向,这些关键信息都缺着,所以先当一条人才+融资信号看,别太激动。

AI HOT 精选

商汤发 SenseNova-U1 技术报告,开源一个激活参数仅 30 亿的多模态模型

报告把训练一个原生多模态模型的全流程拆成了六步,从统一建模、无损接视觉信号,到用自回归加像素空间流匹配一起训,再到强化学习后训练和蒸馏,每一步都给了实操细节。开源版本 SenseNova-U1-A3B-MoT 用了混合专家架构,只激活 30 亿参数,主打跑得快、成本低。模型权重、代码和演示都放出来了,不过报告里没给具体 benchmark 对比,实际效...

推荐理由:我会先打个折:这是厂商自己发的技术报告,正文没给基准分数、开源协议和复现细节,所以别当第三方评测看。亮点在于把训练全流程讲清楚了——从数据配比、六阶段课程到 RL 后训练和蒸馏,每一步都给了操作说明。A3B-MoT 用 MoE 把激活参数压到 30 亿,推理时确实省钱,但报告没披露总参数量、专家数这些关键数字,也没说开源权重什么时候放出来。这点先别太激动,等代码和权重落地再判断。

新智元 · 公众号

清华系开源 MiniCPM-V 4.6:1.3B 多模态模型,一张 4090 就能全量微调

面壁智能、清华和 OpenBMB 放出了 MiniCPM-V 4.6,一个 13 亿参数的多模态模型。它最大的卖点是能在一张 RTX 4090 显卡上完成全量微调,不用再靠低秩适配这类折中方案。模型提供了两种视觉 token 压缩模式:4 倍压缩追求精度,16 倍压缩追求速度,让开发者自己按场景选。正文没披露具体的训练数据量和详细评测基准,这点先别太激...

推荐理由:HKR 三项都成立:一条具体的开源多模态模型发布,给了参数量、硬件条件和 token 压缩方案,把本地微调成本压到一张消费级显卡。不是前沿大厂的旗舰发布,但实用性强,82 分合理。

AI HOT 精选

阶跃星辰发了 Step Image Edit 2,35 亿参数在指令修图榜 KRIS-Bench 上拿了综合、事实、概念三项第一

这个 35 亿参数的图像模型在 KRIS-Bench 指令修图评测里,综合、事实和概念三个类别都排第一,跑赢了参数大它五六倍的模型。能干的事包括文生图、按指令改图、中英文文字渲染,以及保持主体一致的风格迁移。官方说生成快、单次编辑成本低,但没给出具体延迟和价格数字。模型已经上线阶跃开放平台,可以直接用。

推荐理由:我会先打个折:目前只有厂商自报成绩,没有第三方复现或定价信息,所以别急着全信。但35亿参数能在KRIS-Bench三个子项都排第一,说明小模型做图像编辑这条路走得通,对在意推理成本的人是个好消息。正文没披露训练数据规模和具体推理延迟,这两点会直接影响实际能用在哪。

5月12日星期二

机器之心 · 公众号

字节开源 DreamLite:0.39B 参数模型在 iPhone 上 3 秒出图,不用联网

DreamLite 是字节跳动开源的一个统一扩散模型,参数量只有 3.9 亿,能在 iPhone 17 Pro 上直接跑,生成或编辑一张 1024×1024 的图大约 3 秒。它靠 DMD2 蒸馏技术把推理压缩到 4 步,全程在手机本地完成,不依赖云端。正文没披露具体的显存占用和功耗数据,也没给出不同机型上的实测对比,所以“秒变画板”这个说法先打个折—...

推荐理由:字节把扩散模型压到 0.39B 参数,在 iPhone 17 Pro 上离线跑 1024×1024 生图和编辑,约 3 秒出结果,靠的是 4 步 DMD2 蒸馏把推理步数砍下来。我会先打个折:正文没披露功耗、内存占用和量化方案,也没给不同机型的对比,所以“手机秒变画板”这个说法先别太激动。但参数和实测平台都给了,比光喊口号实在。作为开源端侧方案,对在意离线、低延迟和隐私的开发者有参考价值,只是目前只有一篇 Reddit 帖子,没有论文或代码仓库链接,可信度要打个问号。

新智元 · 公众号

智元机器人量产破万,人形机器人已在南昌 3C 产线连续干活 8 小时零失误

智元机器人(AgiBot)公布,到 3 月底已出货超过一万台通用具身机器人。在南昌一条 3C 产线上,他们的人形机器人连续工作了 8 小时,按正式节拍要求完成了 2283 项任务,没有出错。不过,文章正文因为微信环境验证被屏蔽了,具体是哪款机型、任务细节和成本都没法看到。

推荐理由:智元自己报的量产和产线数据,我会先打个折——没有第三方验证,也没披露单台成本和故障率。但 1 万台这个数字在通用机器人圈子里确实少见,南昌那条 3C 线能跑 8 小时零失误,至少说明在特定场景下稳定性过了门槛。正文没提具体客户和付费情况,这点先别太激动。

Latent Space

Thinking Machines 发布原生交互模型:2760 亿参数,120 亿激活,实时语音不再靠外挂

Thinking Machines 终于又冒泡了,这次直接扔了个新模型 TML-Interaction-Small。总参数 2760 亿,是个 MoE 架构,实际干活时只激活 120 亿参数。它最狠的地方是把实时语音交互做进了模型骨子里,不再像以前那样给大语言模型外挂语音识别和合成模块。模型能同时听、说、看、想,用 200 毫秒一个的“微对话轮次”连续...

推荐理由:我会先打个折——基准分是 Thinking Machines 自己跑的,还没第三方复现,所以“超过 GPT 和 Gemini”先别太激动。但这条消息值得推,因为它给出了具体架构(276B MoE、12B 激活)、200ms 微轮次这个硬指标,还直接挑战了语音 agent 里常用的 VAD 方案。对正在搭实时语音管线的从业者来说,哪怕只是思路参考也有价值。

量子位 · 公众号

OpenClaw 悄悄更新,Peekaboo v3 让龙虾在 Mac 上长出手脚

OpenClaw 的 Peekaboo v3 给 Mac 加了 agent 能力,能直接截取像素级屏幕、读取 UI 位置,然后模拟点击、打字、快捷键、滚动和拖拽。它还把 MCP 服务接进了 Cursor、Claude Code 和 Codex,等于让模型能进桌面软件里干活。正文没披露延迟和准确率数据,这点先别太激动。

推荐理由:OpenClaw 的 Peekaboo v3 给 Mac agent 加了一套完整的 GUI 感知和操作原语,还打通了 MCP,让 Cursor、Claude Code、Codex 都能调用。对搞桌面自动化的开源玩家来说是个实用更新,但毕竟只是一篇 Reddit 帖子,没有论文或代码仓库佐证,所以放在 featured 低段,78 分。

AI HOT 精选

Mira 的新公司 Thinking Machines 发了个原生多模态交互模型,前台 200 毫秒一响应,后台跑长线推理

这个模型把音频、视频、文字直接吃进去,不用再靠 agent 把一堆独立模型串起来。前台交互模型每 200 毫秒处理一次输入,保持对话的实时感,用户可以随时打断;后台推理模型负责长程规划和调工具。正文没披露具体参数量、训练数据和成本,也没给评测对比,所以实际效果和泛化能力还得看后续公开信息。

推荐理由:我会先打个折:正文没披露定价、开放范围和具体 benchmark,所以只能按现有信息给到 87。亮点在于 Thinking Machines 没有只发模型权重,而是给了一套前台 200 毫秒交互节点加后台推理的分层设计,原生多模态输入不是后期缝合的。这对正在折腾实时多模态 agent 的团队来说,至少提供了一个可参考的架构思路,但没看到代码或论文之前,不宜再往上拉。

The Verge · AI

Mira Murati 的新公司 Thinking Machines 在做什么:让模型边看边听边想,实时跟你协作

Thinking Machines 周一公布了他们的方向——做“交互模型”。按他们的说法,这种模型能同时接收音频、视频和文字,实时理解、回应并行动,而不是像现在的模型那样等你打完字或说完话才开始反应。正文没披露模型规模、发布时间、定价和最终产品形态,所以这东西到底多能打、什么时候能用上,现在都还是未知数。

推荐理由:这篇帖子给出了公司方向,但正文没披露模型参数、发布时间或产品形态,本质上是一次高关注度的创业方向亮相,不是可用的模型发布。HKR 三项都踩中,但信息缺口明显,所以留在 77 分这个位置,没往上拉。

AI HOT 精选

Karpathy 聊人机交互下一步:别只让模型吐 Markdown,试试让它直接写 HTML

Karpathy 觉得现在大模型默认输出 Markdown 太简陋了,他建议直接让模型生成带排版、图形和交互的 HTML,界面会好用很多。更远的想法是“交互式神经视频”——用扩散模型实时生成能操作的画面,但他也承认这玩意儿怎么跟精确的传统软件配合还是个没解的问题。输入这边,光靠语音、文字或视频不够,得加上手势指点这类更自然的交互。在脑机接口到来之前,输...

推荐理由:Karpathy 这条推文没给数据,就是个人判断,所以重要性只能打到 featured 的及格线。但他把 LLM 输出形态的变化串成了一条线:从纯文本到带格式的 Markdown,再到能直接渲染的 HTML,最后抛出“交互式神经视频”这个方向。我会先打个折——神经视频现在连跟传统软件精确配合都做不到,正文也没说怎么解决,这点先别太激动。不过对做 AI 产品的人来说,这个框架确实能帮他们想清楚下一步该把界面做成什么样。

5月11日星期一

AI HOT 精选

Qwen-Image-2.0 技术报告:把视觉理解模型和扩散模型拼在一起,生图和改图用一个框架搞定

这篇技术报告介绍了 Qwen-Image-2.0,一个把生图和精确修图合到一个模型里的方案。它的做法是把 Qwen3-VL 当成“条件编码器”,去理解你输入的指令,再连上一个多模态扩散模型来出图。指令最长能塞进 1000 个 token。报告里说,这套架构在多语言文字渲染、画面排版质量、以及人工打分上都有提升,尤其适合文字多、构图复杂的场景。不过正文没...

推荐理由:HKR 全中:Qwen 的旗舰图像模型报告给出了具体架构、1K 令牌指令输入和编辑能力,国产旗舰模型的信号足够强,必须写。

5月10日星期日

机器之心 · 公众号

谷歌 Ted Xiao 把近十年机器人学习分成三个时代,从 RT-1 到 RT-2 再到规模化

这篇文章的正文被微信环境异常拦截了,实际内容无法读取。从标题和已有英文摘要看,Ted Xiao 的复盘主要讲谷歌机器人团队怎么从 RT-1 用 8.7 万条遥操作轨迹训练,走到 RT-2 把 50 亿到 550 亿参数的视觉语言模型改造成视觉-语言-动作策略。具体三个时代怎么划分、每个阶段踩了什么坑、规模化后效果到底提升多少,正文没披露,没法展开。

推荐理由:我会先打个折:这不是新发布,是一篇回顾性梳理,所以分数没往 80 以上走。但作者身份和内部数字让它值得上推荐位。Ted Xiao 把谷歌机器人学习拆成三个阶段,从遥操作采数据到把大模型当机器人脑子用,脉络清楚。RT-1 的 8.7 万条轨迹说明早期靠人工遥控攒数据的笨功夫,RT-2 用 5B 到 55B 的 VLM 改策略,点出了现在大家纠结的核心——模型大了能不能直接控硬件。正文没披露 RT-2 在真实场景的失败率或延迟数据,这点先别太激动。整体适合给做具身智能的人当路线图看。