跳到正文

#多模态

今日 0 条

11月11日星期三

11月8日星期日

The Decoder

Co-Design Bench 实测编码智能体,最佳模型仍有近四分之三任务需要人工收尾

阿里巴巴与多所亚洲高校构建 Co-Design Bench,测试的十个模型中,表现最佳的 GPT-6 Astra 仅完整完成 26.4% 的任务。该模型平均满足约 70% 的需求,测试要求智能体根据真实用户请求修改现有网页应用,并由两名 AI 裁判检查功能是否实际可用。任务混合多种修改类型时所有模型表现均下降,同一模型在不同执行环境中的表现也有明显差异,研究团队建议同时报告模型与执行环境。

11月7日星期六

11月4日星期三

OpenAI News

OpenAI 用 AI 加速实体产品的设计、仿真与制造

OpenAI 公布模型辅助实体产品工程的研究进展,涵盖机械、电气和系统设计,并宣布与 Mazda 开展研究合作。两名成员用 Astra 在不到一周的业余时间内设计了可与 Codex 对话的设备,制造商在不到一个月内完成小批量原型,但制造前仍需多轮审查和迭代,以处理生产限制、公差及装配细节。

推荐理由:OpenAI 用 Astra 串联设备的机械、电路与软件设计,制造前仍需多轮审查来处理生产限制、公差和装配细节。

11月1日星期日

The Decoder

Adobe研究EditAgent如何像Photoshop专业人士一样选择工具与核验编辑结果

Adobe Research与UC San Diego提出EditAgent,通过并行调用通用编辑器和专用工具、结合量化核验数据选择图像编辑结果。在600项编辑测试中,获得核验数据的Qwen3.8-27B选中可用结果的比例为81.3%,高于EditScore-72B的74.8%。EditAgent在三个基准上改善了开源编辑器的表现,但所需计算量约为单个编辑器的十倍,性能也取决于接入的工具。

The Decoder

Google 研究 StreamVibe,让视频 AI 判断用户何时需要帮助

Google 牵头的研究团队提出 StreamVibe,让视频智能体识别明确、隐含及变化中的用户意图,自行判断何时提供帮助。团队基于超过 183 小时的录像构建约 4,100 个样例,并训练 StreamVibe-VL,结合强化学习和独立记忆系统减少打断、跟踪任务进度。

10月30日星期五

AI HOT · 产品

腾讯混元发布 Hy-Nomas 技术报告并开源 Hy-Nomas-Bench

腾讯混元发布交互式视频世界模型 Hy-Nomas 的技术报告(arXiv:2610.36729),并开源 Hy-Nomas-Bench 数据集用于可复现研究。官方用 Hy-Nomas 重现 Genie 4 示例并发布对比视频,演示无需排队即可试用,地址为 https://hy-nomas.hy.tencent.com/。

10月29日星期四

Hacker News 首页

Cartesia研究H-Net扩展规律与字节级学习效率

Cartesia公布改进版层次网络H-Net的扩展实验,通过端到端动态分块替代固定分词,并报告语言建模效率提升。严格匹配的一阶段H-Net在验证损失上的计算效率为BPE Transformer的1.28x;两阶段H-Net约用~1T tokens达到SmolLM3约~11T tokens时的最终平均评测分数,两者每字节计算量差异在2%以内,但参数量和训练阶段设置不同。

6月7日星期日

量子位 · 公众号

快手可灵提出 VLM-as-Teacher:生成视频时让视觉模型当老师,在线微调 LoRA 来遵守文字规则

这篇文章的正文被微信环境异常页挡住了,看不到具体技术细节。从标题和现有摘要看,快手可灵和城大合作了一个叫 VLM-as-Teacher 的方法。思路是在测试阶段用视觉语言模型(VLM)给视频生成模型(VGM)的 LoRA 模块打分反馈,边生成边优化,让模型学会按文字规则推理。

推荐理由:快手可灵与城大提出 VLM-as-Teacher,在测试阶段用视觉语言模型为视频生成模型的 LoRA 提供反馈,边生成边优化,让模型按文字规则推理。

6月6日星期六

机器之心 · 公众号

大晓机器人和南洋理工发布 PhysX-Omni,一个框架直接生成能进仿真器跑的 3D 物体

这篇推文本身因为微信环境验证没抓到正文,我只能根据标题和已有英文摘要来说。PhysX-Omni 是一个 3D 生成框架,特点是生成出来的模型不是只能看,而是直接带物理属性,能区分刚体、软体和带关节的物体,扔进仿真器就能跑。配套的数据集 PhysXVerse 有超过 8700 个物理 3D 资产,覆盖 2900 多个类别。

推荐理由:大晓机器人与南洋理工发布的 PhysX-Omni 让生成的 3D 物体自带物理属性,可直接进仿真器运行,配套 PhysXVerse 含 8700 多个物理资产、覆盖 2900 多个类别。

6月5日星期五

机器之心 · 公众号

东南大学和北大搞了个机器人精细操作评测框架,说传统只看成功率的办法会把能力高估七成

这篇推文本身被微信的环境验证挡住了,正文内容没抓到。从标题和已有的英文摘要看,MetaFine 是一个诊断式的元评测框架,专门拆开看机器人在精细操作上的理解、感知和行为三个环节,而不是只给一个“成功/失败”的二元结果。研究团队说,传统只看最终成功率的评测方式,对精细操作能力的评估会虚高最多 70%。具体怎么测的、用了哪些任务和模型,正文没披露,没法展开。

推荐理由:东南大学与北大团队提出 MetaFine 元评测框架,把机器人精细操作拆成理解、感知、行为三个环节诊断,并指出只看成功率的传统评测会将能力高估最多七成。

6月4日星期四

量子位 · 公众号

CVPR 2026 上,小鹏给英伟达、特斯拉和 Waymo 讲了一遍自己的物理 AI 技术栈

小鹏在 CVPR 2026 上公开了他们的世界模型技术栈,包含 X-World、X-Foresight 和 X-Cache 三个部分。X-Cache 能砍掉约 70% 的重复计算,相当于让模型推理时少做无用功。第二代 VLA 模型用了超过 4 万亿个 token 训练,这个量级说明训练数据投入很大。

推荐理由:小鹏在 CVPR 2026 公开世界模型技术栈,X-Cache 可减少约七成重复计算,第二代 VLA 用超 4 万亿 token 训练,为端侧模型推理优化提供可参考的工程路径。

6月3日星期三

机器之心 · 公众号

蚂蚁灵波在 RSS 2026 提出首个自回归因果世界模型,用 50 条演示数据就能让机器人学会通用操控

蚂蚁灵波和港科大搞了个叫 LingBot-VA 的模型,把“预测画面接下来怎么变”和“判断该做什么动作”合到一个自回归框架里。论文说,每个任务只用 50 条真实世界的演示数据微调,在 RoboTwin 2.0 的简单和困难设定下,成功率分别到了 92.0% 和 91.1%。

推荐理由:蚂蚁灵波与港科大提出 LingBot-VA,把画面预测与动作决策合入自回归框架,每个任务仅用 50 条真实演示数据微调,在 RoboTwin 2.0 上报告了 92.0% 和 91.1% 的成功率。

量子位 · 公众号

大晓机器人和南洋理工搞了个统一物理3D生成框架,刚体、软体、带关节的物体都能一次搞定

这个框架叫PhysX-Omni,目标是让生成的3D模型直接能进物理仿真跑起来,不用再手动修。它把刚体、软体和关节体三类物体的生成统一到一个流程里,省掉了以前要分开处理的麻烦。配套的PhysXVerse数据集有8700个资产,覆盖2900个类别,规模不小。

推荐理由:大晓机器人与南洋理工把刚体、软体和关节体的3D生成统一进PhysX-Omni一个流程,配套PhysXVerse数据集含8700个资产、覆盖2900个类别,省去分开处理再手动修模的环节。

5月30日星期六

机器之心 · 公众号

苹果搞了个叫 PICO 的图像压缩方案,画质不变,文件能小到三分之一

苹果发了篇论文介绍 PICO,一个用 AI 做图像压缩的编解码器。在主观画质差不多的情况下,它比 AV1、VVC 和 JPEG AI 省 57% 到 70% 的码率,也就是说文件体积能压到原来的三分之一甚至更少。在 iPhone 17 Pro Max 上跑,压一张 1200 万像素的照片要 230 毫秒,解压要 150 毫秒。

推荐理由:苹果论文介绍 PICO 图像编解码器,在主观画质相近时比 AV1、VVC 和 JPEG AI 省 57% 到 70% 码率,并在 iPhone 17 Pro Max 上给出端侧编解码耗时。

机器之心 · 公众号

英伟达和清华的 γ-World 把世界模型从单机改成了联机,登顶 HuggingFace 日榜

这篇推文本身因为微信环境验证没抓到正文,我只能根据已有的英文摘要和标题来还原。γ-World 是一个多智能体世界模型,核心是把多个 AI 角色放在同一个虚拟环境里互动。它用了一种叫“单纯形位置编码”的方法和 hub token 机制,把多个智能体之间的交互计算成本从平方级降到了线性级。

推荐理由:英伟达与清华团队提出多智能体世界模型 γ-World,用单纯形位置编码和 hub token 把智能体间交互的计算成本从平方级降到线性级。

5月28日星期四

NVIDIA 博客

NVIDIA 在 ICRA 发了 8 篇论文,核心是让机器人在仿真里练完直接去现实世界干活

NVIDIA Research 在 ICRA 上展示了 8 篇论文,都围绕一个思路:在仿真里训练机器人,然后直接部署到真实环境。ScheduleStream 让多机械臂并行规划,速度提升 3 倍,代码已开源。COMPASS 导航框架完全不靠真实数据,在仿真里训练后迁移到真机,20 次真实导航测试成功率约 80%,比纯模仿学习基线高了 4.5 倍。

推荐理由:NVIDIA Research 在 ICRA 发布 8 篇论文,其中 COMPASS 导航框架不依赖真实数据,仿真训练后迁移到真机,20 次测试成功率约 80%,为纯模仿学习基线的 4.5 倍。

r/LocalLLaMA

英伟达 LocateAnything:用并行框解码做视觉定位,号称比 Qwen3-VL 快 10 倍

英伟达放出了一个叫 LocateAnything-3B 的模型,专门做视觉语言定位——就是给张图、说句话,模型把对应物体用框标出来。它主打“并行框解码”,不像传统方法一个个框串行生成,所以速度上来了,标题直接写比 Qwen3-VL 快 10 倍。

推荐理由:英伟达开源 3B 视觉定位模型 LocateAnything,用并行框解码替代逐框串行生成,官方称速度比 Qwen3-VL 快 10 倍。

机器之心 · 公众号

ICML 2026:AutoMoT 用大小模型异步分工,在 Bench2Drive 和 nuScenes 上拿了双料第一

这篇文章本身被微信环境验证挡住了,正文内容没抓到,所以下面说的都基于标题和已知信息。AutoMoT 是南洋理工 AutoMan 实验室、哈佛和小米汽车一起搞的端到端驾驶模型,核心思路是把视觉语言模型和驾驶动作拆成两个专家:一个 4B 的 Qwen3-VL 负责看懂场景,一个 1.6B 的动作专家负责输出驾驶指令,而且两个模型是异步推理的,不用互相等。

推荐理由:AutoMoT 把 4B 视觉语言模型与 1.6B 动作专家拆成异步推理,在 Bench2Drive 和 nuScenes 上取得双料第一,其大小模型分工思路可供端到端驾驶架构参考。

5月27日星期三

量子位 · 公众号

7B小模型在医学影像理解上跑赢o3和GPT-5,靠的是教会模型“看哪里、怎么看”

上海创新研究院的LeapQuest和三所大学搞了两个医学AI系统Ophiuchus和MedScope,核心思路是让模型在看图看视频时学会像医生一样先定位关键区域再分析。Ophiuchus-7B在8个医学视觉问答基准上拿了68.0分,比OpenAI-o3的62.2、Gemini 2.5 Pro的61.8和GPT-5的59.9都高。

推荐理由:上海创新研究院等团队让模型先定位关键区域再分析,Ophiuchus-7B在8个医学视觉问答基准上以68.0分超过o3和GPT-5,提供了小模型靠方法设计追赶通用大模型的比较样本。

5月26日星期二

AI HOT 精选

Runway 发布 Project Luxo,用三部短片和一支广告证明 AI 视频已经跨过恐怖谷

Runway 放出了三部完全用 AI 生成的短片和一支广告样片,每部都由单人完成,制作时间从三周压缩到四小时。他们把这些片子拿给制片人、演员、工会成员和媒体看,得到的反馈是:观众不再盯着画面瑕疵,而是被故事本身抓住了。Runway 认为这意味着 AI 视频的视觉真实感、角色稳定性和创作可控性已经够用,技术开始退到幕后,故事走到了台前。

推荐理由:Runway 用三部短片和一支广告样片展示单人完成 AI 视频制作,制作周期从三周压缩到四小时,并收集了制片人、演员和工会成员的观看反馈。

阿里技术 · 公众号

南大和阿里发现 DiT 里的残差流拖慢收敛,改用跨层路由后训练快了近 9 倍

南京大学 LAMDA 组和阿里智能引擎团队提出了一种叫 DAR 的方法,把 DiT 模型里固定的残差累积,换成了按时间步动态选择路径的跨层路由。在 ImageNet 256×256 上拿 SiT-XL/2 试,FID 从 9.67 降到了 7.56,而且只用原来大约九分之一的训练步数就达到了同等收敛质量。

推荐理由:南大 LAMDA 与阿里团队把 DiT 固定的残差累积换成按时间步动态选路的跨层路由,在 ImageNet 上以约九分之一训练步数达到同等收敛质量。

量子位 · 公众号

浙大和阿里给生图模型加了个“先想再画”的模块,画数独、烧蜡烛这类精细活终于不翻车了

这篇论文提出了一个叫 Unified Thinker 的独立规划模块,专门解决生图模型一遇到需要精确空间推理的任务就乱来的问题。它不像以前那样让模型边想边画,而是把“思考”和“执行”拆开:先让模型生成结构化的推理步骤,再把这些步骤翻译成具体的视觉指令去生图。

推荐理由:浙大和阿里为生图模型提出 Unified Thinker 规划模块,把思考与执行拆开,先产出结构化推理步骤再转成视觉指令,可用于了解提升精细空间任务可靠性的思路。

5月24日星期日

机器之心 · 公众号

ICML 2026 中了一篇让视觉模型学会“多条思路并行思考”的论文,但正文被验证页挡住了

这篇被 ICML 2026 接收的论文叫 Visual Para-Thinker,给视觉语言模型加了一套并行思考框架。核心是用 Pa-Attention 和 LPRoPE 把视觉推理拆成四条独立路径,让模型同时从不同角度理解图像,再综合出答案。训练数据是 16.3 万组问答对,规模不算大,所以泛化能力得打个问号。

推荐理由:ICML 2026 接收的 Visual Para-Thinker 用 Pa-Attention 和 LPRoPE 把视觉推理拆成四条并行路径,训练数据为 16.3 万组问答对。

5月23日星期六

机器之心 · 公众号

FlashAR 用 0.05% 的训练数据,把自回归图像模型的生成速度提了 22.9 倍

浙大和阿德莱德大学搞了个 FlashAR,专门给预训练好的自回归图像模型加速。拿 Emu3.5-Image-34B 试了一下,生成一张 512×512 的图,原来要 130.10 秒,现在只要 5.68 秒,快了 22.9 倍。而且只用了原始训练数据量的 0.05% 做微调,GenEval 分数从 80.48 变成 80.29,画质基本没掉。

推荐理由:浙大与阿德莱德大学提出 FlashAR,仅用原始训练数据 0.05% 微调,就把 Emu3.5-Image-34B 生成 512×512 图像从 130.10 秒压缩到 5.68 秒。

5月22日星期五

机器之心 · 公众号

CVPR 2026 | HiF-VLA:用视频压缩的思路教机器人“边看动作边想下一步”

西湖大学团队搞了个叫 HiF-VLA 的框架,核心想法是把机器人看世界的方式从“一帧帧静态图”换成“画面怎么动的”。它直接用 H.264 这类视频编码器从画面里提取紧凑的运动向量,再让一个联合专家模型同时预测未来的视觉动态和该做的动作序列。论文里给的数据是,在设定的历史窗口下,显存峰值 31.4GB,延迟 117.7 毫秒。

推荐理由:西湖大学团队提出 HiF-VLA,用 H.264 运动向量替代逐帧视觉编码,并让联合专家模型同时预测视觉动态与动作序列,显存峰值 31.4GB、延迟 117.7 毫秒。

机器之心 · 公众号

Meta 华人团队发布 ATLAS:用一个词让视觉模型学会可泛化的推理

Meta AI 和港中文的研究者搞了个叫 ATLAS 的方法,核心是在视觉语言模型里塞一个“功能词”(Functional Token),让模型能同时走两条路:一条是显式的、一步步调用工具去操作图像(Agentic 推理),另一条是隐式的、在内部潜空间里直接算(Latent 推理)。

推荐理由:Meta AI 与港中文提出 ATLAS,在视觉语言模型中加入功能词,使同一次推理可切换显式调用工具与潜空间内部计算两条路径。

5月21日星期四

新智元 · 公众号

中科大两篇顶会论文:教多模态大模型持续学新知识,同时不忘旧本事

中科大团队在顶会上发了两篇工作,专门解决多模态大模型“学新忘旧”的问题。一篇是 MMEVOKE,搞了一个包含 159 个子类、9422 个样本的评测集,用来检验模型在持续学习中会不会把之前的知识覆盖掉。另一篇是 KORE,提出用知识树扩充样本,再通过零空间约束微调来减少遗忘。

推荐理由:中科大团队用 MMEVOKE 评测集和 KORE 微调方法,针对多模态大模型持续学习中的遗忘问题给出可复用的评测与训练思路。

机器之心 · 公众号

VAST 和清华搞了个新方法,让 3D 生成把算力花在刀刃上,高斯点数量砍半画质还能打

这篇论文正文被微信环境验证挡住了,看不到具体技术细节。从标题和已知信息看,他们提出了一种叫 DeG 的 3D 生成方法,核心思路是让模型自己学会在物体细节丰富的地方多放高斯点、在平坦区域少放点,而不是均匀撒点。这样能用不到一半的高斯点数量,达到跟 TRELLIS 差不多的画面质量。

推荐理由:VAST 与清华提出 DeG 方法,让模型按物体细节密度分配高斯点,用不到一半的点数达到 TRELLIS 相近画质。

机器之心 · 公众号

谢赛宁团队发布第二代表征自编码器 RAEv2,训练效率大幅提升

谢赛宁团队、Adobe Research 和澳大利亚国立大学放出了 RAEv2。在 ImageNet-256 上训练 80 轮后,生成质量指标 gFID 做到了 1.06。更关键的是效率:衡量收敛速度的 EPFID@2 从上一代需要的 177 轮训练直接压缩到 35 轮,计算量维持在 189 GFLOPs 没涨。

推荐理由:谢赛宁团队联合 Adobe Research 和澳大利亚国立大学发布 RAEv2,在 ImageNet-256 上把收敛所需训练轮数从上一代的 177 轮压到 35 轮,计算量维持在 189 GFLOPs。

5月20日星期三

Hacker News 首页

字节跳动开源 Lance:一个模型同时搞定图片和视频的理解、生成与编辑

Lance 是字节跳动放出的一个多模态研究项目,把看图、看视频、生成图片、生成视频和编辑这些事塞进了同一个模型里。模型激活参数只有 3B,个头不大,训练用了不到 128 张 GPU,对想复现或微调的人来说门槛不算高。代码、论文和模型权重都公开了,但项目页没写具体的 benchmark 跑分和商用许可条款,这点先别太激动,得自己去翻论文和 HF 页面确认。

推荐理由:字节跳动开源 Lance,把图像与视频的理解、生成和编辑放进同一个模型,激活参数 3B,训练用不到 128 张 GPU,代码、论文和权重均已公开。

r/LocalLLaMA

英伟达放出 Nemotron-Labs-Diffusion 模型,用扩散解码把 8B 模型跑到 850 tok/s

英伟达发了 Nemotron-Labs-Diffusion 系列,包含 3B、8B 和 14B 三个稠密模型。这组模型同时支持传统的自回归解码和新的扩散并行解码,还带了一种叫 self-speculation 的加速技巧。

推荐理由:英伟达发布 Nemotron-Labs-Diffusion 系列,3B 到 14B 三个稠密模型同时支持自回归与扩散并行解码,并加入 self-speculation 加速技巧。

5月17日星期日

量子位 · 公众号

TGO:不用人工挑好坏样本,靠一个分数就能把生图模型调得更听话

新加坡国立大学搞了个叫 TGO(阈值引导优化)的方法,被 ICML 2026 收了。它最大的好处是不需要提前构造“这张比那张好”的偏好对,直接拿一个标量分数(比如美学分、图文匹配度)就能做对齐。做法是先让模型生成一批图,算出分数的分布,定一个阈值:高于阈值的当正样本往上拉,低于的当负样本往下压。

推荐理由:新加坡国立大学的 TGO 被 ICML 2026 收录,它跳过偏好对构造,直接用美学分或图文匹配度这类标量分数定阈值来对齐视觉生成模型。

5月16日星期六

机器之心 · 公众号

机器人为什么需要世界模型?顶尖机构联合发布综述

这篇综述正文被微信的验证页面挡住了,我没法看到具体内容。从标题和已知信息看,NTU MARS Lab 联合几家机构发了一篇 43 页的综述,讲的是机器人世界模型。世界模型可以理解成让机器人脑子里有个对物理世界的模拟器,能预判“我动一下会发生什么”,而不是每次都靠真实试错。

推荐理由:NTU MARS Lab 联合多家机构发布 43 页机器人世界模型综述,梳理世界模型如何让机器人在行动前预判物理结果,为理解具身智能的仿真训练路径提供背景。

量子位 · 公众号

浙大和微软用3000条纯文本提示词,让视频生成模型学会理解3D空间

浙大和微软搞了个叫 World-R1 的方法,拿 Wan 2.1 模型做实验,只用了大概 3000 条纯文本提示词,没加任何 3D 标注数据,就让模型生成的视频在空间一致性上好了不少。他们设计了一套叫 Flow-GRPO 的训练流程,外加四个维度的奖励信号来引导模型。

推荐理由:浙大和微软提出 World-R1,仅用约 3000 条纯文本提示词、不加 3D 标注,就让 Wan 2.1 生成的视频在空间一致性上明显改善,为缺少标注数据的视频生成团队提供了一条低成本对齐路径。

5月15日星期五

新智元 · 公众号

谷歌把 Gemini 塞进鼠标指针,指哪就能让 AI 干活,连提示词都不用写

谷歌 DeepMind 放出了一个叫“AI 指针”的实验项目,核心是把 Gemini 模型直接挂在鼠标指针上。你在屏幕上指一个区域,AI 就能理解上下文并执行操作,比如修图或在地图上找地点。目前有两个 Demo 在 Google AI Studio 里能玩:一个是图片编辑,另一个是地图地点查找。

推荐理由:谷歌 DeepMind 把 Gemini 挂在鼠标指针上,指哪就能让 AI 理解上下文并执行修图或找地点,两个 Demo 已在 AI Studio 开放体验。

5月14日星期四

机器之心 · 公众号

灵初智能用10万小时人类操作数据训练机器人,但文章正文被验证页挡住了

这篇微信文章标题说灵初智能(PsiBot)用了10万小时的人类操作数据来训练机器人策略,还提到一个叫W0的世界模型只在训练时做迁移,实际部署只跑R2。但页面被环境异常验证拦住了,正文内容完全看不到,没法确认具体怎么采集数据、在什么任务上验证、效果到底怎么样。

推荐理由:灵初智能称用10万小时人类操作数据训练机器人策略,W0世界模型只在训练时做迁移,部署仅运行R2,其数据采集方式与任务验证结果尚无法确认。

5月13日星期三

量子位 · 公众号

字节提出 GRN,让生图模型像人一样边画边改,不再死磕扩散和自回归

字节跳动的技术团队搞了个叫 GRN(生成式精炼网络)的新架构,想给视觉生成找第三条路,不跟扩散模型和自回归模型硬卷。它的核心思路是让模型先生成一张粗糙的图,再反复精修,就像画师先铺大色块再慢慢抠细节。为了解决反复修图容易把图修糊、错误越攒越多的问题,他们用了三项技术:HBQ(分层二元量化)把图片压成更紧凑的离散编码,减少信息损耗。

推荐理由:字节团队提出 GRN 架构,让视觉生成先出粗图再反复精修,并用 HBQ 分层二元量化压缩离散编码以减少信息损耗,为扩散与自回归之外的第三条路线提供了具体技术方案。

AI HOT 精选

商汤发 SenseNova-U1 技术报告,开源一个激活参数仅 30 亿的多模态模型

报告把训练一个原生多模态模型的全流程拆成了六步,从统一建模、无损接视觉信号,到用自回归加像素空间流匹配一起训,再到强化学习后训练和蒸馏,每一步都给了实操细节。开源版本 SenseNova-U1-A3B-MoT 用了混合专家架构,只激活 30 亿参数,主打跑得快、成本低。

推荐理由:商汤发布 SenseNova-U1 技术报告,把原生多模态模型从统一建模到强化学习后训练、蒸馏的六步流程逐项拆开,并开源激活参数 30 亿的混合专家版本。