跳到正文

#多模态

今日 4 条

5月29日星期五

r/LocalLLaMA

StepFun 3.7 Flash:196B 总参数、11B 激活的 MoE 模型,带 1.8B 视觉模块,能在 128GB 内存的本地机器上跑

StepFun 放出了 Step 3.7 Flash,一个混合专家(MoE)模型,总参数量 196B,但每次推理只激活 11B 参数,所以对算力要求没那么夸张。它内置了一个 1.8B 参数的视觉 Transformer(ViT),可以直接处理图像输入。官方说这个模型能在配备 128GB 内存的本地环境里运行,不用非得连云端。

推荐理由:StepFun 发布 Step 3.7 Flash,196B 总参数只激活 11B,还带 1.8B 视觉模块,官方称可在 128GB 内存的本地机器上运行。

AI HOT 精选

阶跃星辰开源 Step 3.7 Flash,198B 参数 MoE 模型,活跃参数约 11B,专为智能体工作流做效率优化

阶跃星辰放出了一个开源模型 Step 3.7 Flash,架构是 198B 参数的 MoE(混合专家),实际干活时只激活大约 11B 参数,所以跑起来相对轻量。上下文窗口给到 256K,能读图、读文档,也能直接生成代码或调用工具。

推荐理由:阶跃星辰开源 198B 参数的 MoE 模型 Step 3.7 Flash,运行时仅激活约 11B 参数,并支持 256K 上下文与工具调用,为智能体工作流提供了轻量部署的选项。

AI HOT 精选

Google 发布两款图像模型 Nano Banana Pro 和 Nano Banana 2,已接入 Gemini API 可用

Google AI 开发者账号官宣了两个图像模型:Nano Banana Pro(代号 gemini-3-pro-image)和 Nano Banana 2(代号 gemini-3.1-flash-image),现在就能通过 Gemini API 调用,直接上生产环境。

推荐理由:Google 将 Nano Banana Pro 和 Nano Banana 2 两个图像模型接入 Gemini API,开发者现在即可调用并用于生产环境。

The Verge · AI

一部成本2000美元的AI电影将在翠贝卡电影节首映

翠贝卡电影节下月会首映一部75分钟的AI生成电影《Dreams of Violets》,讲的是伊朗政府大规模杀害抗议者的虚构故事,画面和人物全由AI生成。制作成本只花了2000美元,素材来自新闻报道、照片和目击者描述。电影由2019年离开伊朗的Koosha兄弟制作,哥哥Ash是制片公司Fountain 0的CEO,弟弟Pooya是联合创始人。

推荐理由:一部75分钟、画面人物全由AI生成的剧情长片将在翠贝卡首映,制作成本仅2000美元,素材取自新闻报道与目击者描述。

5月28日星期四

NVIDIA 博客

NVIDIA 在 ICRA 发了 8 篇论文,核心是让机器人在仿真里练完直接去现实世界干活

NVIDIA Research 在 ICRA 上展示了 8 篇论文,都围绕一个思路:在仿真里训练机器人,然后直接部署到真实环境。ScheduleStream 让多机械臂并行规划,速度提升 3 倍,代码已开源。COMPASS 导航框架完全不靠真实数据,在仿真里训练后迁移到真机,20 次真实导航测试成功率约 80%,比纯模仿学习基线高了 4.5 倍。

推荐理由:NVIDIA Research 在 ICRA 发布 8 篇论文,其中 COMPASS 导航框架不依赖真实数据,仿真训练后迁移到真机,20 次测试成功率约 80%,为纯模仿学习基线的 4.5 倍。

r/LocalLLaMA

英伟达 LocateAnything:用并行框解码做视觉定位,号称比 Qwen3-VL 快 10 倍

英伟达放出了一个叫 LocateAnything-3B 的模型,专门做视觉语言定位——就是给张图、说句话,模型把对应物体用框标出来。它主打“并行框解码”,不像传统方法一个个框串行生成,所以速度上来了,标题直接写比 Qwen3-VL 快 10 倍。

推荐理由:英伟达开源 3B 视觉定位模型 LocateAnything,用并行框解码替代逐框串行生成,官方称速度比 Qwen3-VL 快 10 倍。

机器之心 · 公众号

ICML 2026:AutoMoT 用大小模型异步分工,在 Bench2Drive 和 nuScenes 上拿了双料第一

这篇文章本身被微信环境验证挡住了,正文内容没抓到,所以下面说的都基于标题和已知信息。AutoMoT 是南洋理工 AutoMan 实验室、哈佛和小米汽车一起搞的端到端驾驶模型,核心思路是把视觉语言模型和驾驶动作拆成两个专家:一个 4B 的 Qwen3-VL 负责看懂场景,一个 1.6B 的动作专家负责输出驾驶指令,而且两个模型是异步推理的,不用互相等。

推荐理由:AutoMoT 把 4B 视觉语言模型与 1.6B 动作专家拆成异步推理,在 Bench2Drive 和 nuScenes 上取得双料第一,其大小模型分工思路可供端到端驾驶架构参考。

机器之心 · 公众号

国产预训练具身大模型 Wall-OSS-0.5 开源,宣称跳过微调也能直接干活

X Square Robot 开源了一个叫 Wall-OSS-0.5 的视觉-语言-动作模型,主打“预训练完就能用”。他们放出了 40 万步的预训练 checkpoint,在 17 个真实机器人零样本任务里,有 4 个成功率超过 80%。这次开源的东西挺全:权重、代码、训练配方、消融实验,还有一个叫 DMuon 的优化器实现。

推荐理由:X Square Robot 开源视觉-语言-动作模型 Wall-OSS-0.5,放出 40 万步预训练 checkpoint,在 17 个真机零样本任务中 4 个成功率超 80%,并附权重、代码与训练配方。

AI HOT 精选

Hao AI Lab 开源 FastVideo Dreamverse,一张 B200 显卡 7 秒跑出 30 秒 1080p 视频

这个工具用一张 NVIDIA B200 GPU 搭配 LTX-2 模型,把生成 30 秒 1080p 视频的时间压到了 7 秒,做到了实时出片。代码和博客都公开了,但正文没披露画面质量、一致性和复杂场景下的表现,实际效果得自己跑一遍才知道。

推荐理由:Hao AI Lab 开源 FastVideo Dreamverse,用单张 NVIDIA B200 搭配 LTX-2 模型把 30 秒 1080p 视频生成压到 7 秒,代码和博客一并公开。

5月27日星期三

AI HOT 精选

Runway 发布 MCP 服务器,让 Claude、ChatGPT 这类助手能直接在对话框里帮你生图和剪视频

Runway 推出了一个 MCP 服务器,相当于给 AI 助手装了个插件,让 Claude、ChatGPT、Cursor 等工具能在聊天窗口里直接调用 Runway 的模型生成图片和视频。你不用再切换软件,给助手扔一个商品链接、一张参考图或一段文字描述,它就能把成品返回到同一个对话框里。

推荐理由:Runway 把生图和剪视频能力接入 Claude、ChatGPT、Cursor 的对话框,用户发链接、参考图或文字描述即可拿到成品,省去切换软件的步骤。

TechCrunch · AI

YouTube 开始自动给 AI 视频打标签,不再全靠创作者自觉

YouTube 不再只靠创作者自己申报 AI 内容,现在会用内部系统自动检测并给“用了大量逼真 AI 画面”的视频打上标签。同时标签位置会更显眼,长视频和 Shorts 都适用。不过正文没披露这套自动检测的准确率、误判后怎么申诉、具体什么时候全面铺开,也没说对直播有没有用。

推荐理由:YouTube 将用内部系统自动检测并标注含大量逼真 AI 画面的视频,标签在长视频和 Shorts 中都更显眼,平台对 AI 内容的标注从创作者自报转向主动识别。

量子位 · 公众号

7B小模型在医学影像理解上跑赢o3和GPT-5,靠的是教会模型“看哪里、怎么看”

上海创新研究院的LeapQuest和三所大学搞了两个医学AI系统Ophiuchus和MedScope,核心思路是让模型在看图看视频时学会像医生一样先定位关键区域再分析。Ophiuchus-7B在8个医学视觉问答基准上拿了68.0分,比OpenAI-o3的62.2、Gemini 2.5 Pro的61.8和GPT-5的59.9都高。

推荐理由:上海创新研究院等团队让模型先定位关键区域再分析,Ophiuchus-7B在8个医学视觉问答基准上以68.0分超过o3和GPT-5,提供了小模型靠方法设计追赶通用大模型的比较样本。

r/LocalLLaMA

PrismML 放出二值/三值 Bonsai Image 4B:1-bit 文生图扩散模型,浏览器里就能跑

PrismML 发布了 Bonsai Image 4B 的二值和三值版本,把文生图扩散 Transformer 的权重压到 1-bit 或三值,模型体积约 3GB。作为对比,FLUX.2 Klein 4B 大概要 16GB。Reddit 帖子里给了浏览器端 WebGPU 本地运行的 demo 链接,模型用 Apache-2.0 协议开源。

推荐理由:PrismML 将 Bonsai Image 4B 的文生图扩散 Transformer 权重压到 1-bit 或三值,模型约 3GB,而 FLUX.2 Klein 4B 约 16GB,并支持在浏览器 WebGPU 本地运行。

5月26日星期二

AI HOT 精选

商汤把 SenseNova-U1 的训练代码全开源了,一个框架同时训生图、修图、交错生成和理解

OpenSenseNova 在 GitHub 上放出了 SenseNova-U1 的完整训练代码,用 Apache-2.0 协议。代码覆盖了 8B 稠密模型和 A3B MoE(混合专家)架构,在一个统一框架里支持四种多模态任务:文生图、图片编辑、图文交错生成,以及文本与视觉理解。

推荐理由:商汤在 GitHub 以 Apache-2.0 协议开源 SenseNova-U1 完整训练代码,覆盖 8B 稠密与 A3B MoE 两种规格,一个框架同时支持文生图、图片编辑、图文交错生成和理解四类任务。

AI HOT 精选

Runway 发布 Project Luxo,用三部短片和一支广告证明 AI 视频已经跨过恐怖谷

Runway 放出了三部完全用 AI 生成的短片和一支广告样片,每部都由单人完成,制作时间从三周压缩到四小时。他们把这些片子拿给制片人、演员、工会成员和媒体看,得到的反馈是:观众不再盯着画面瑕疵,而是被故事本身抓住了。Runway 认为这意味着 AI 视频的视觉真实感、角色稳定性和创作可控性已经够用,技术开始退到幕后,故事走到了台前。

推荐理由:Runway 用三部短片和一支广告样片展示单人完成 AI 视频制作,制作周期从三周压缩到四小时,并收集了制片人、演员和工会成员的观看反馈。

阿里技术 · 公众号

南大和阿里发现 DiT 里的残差流拖慢收敛,改用跨层路由后训练快了近 9 倍

南京大学 LAMDA 组和阿里智能引擎团队提出了一种叫 DAR 的方法,把 DiT 模型里固定的残差累积,换成了按时间步动态选择路径的跨层路由。在 ImageNet 256×256 上拿 SiT-XL/2 试,FID 从 9.67 降到了 7.56,而且只用原来大约九分之一的训练步数就达到了同等收敛质量。

推荐理由:南大 LAMDA 与阿里团队把 DiT 固定的残差累积换成按时间步动态选路的跨层路由,在 ImageNet 上以约九分之一训练步数达到同等收敛质量。

量子位 · 公众号

浙大和阿里给生图模型加了个“先想再画”的模块,画数独、烧蜡烛这类精细活终于不翻车了

这篇论文提出了一个叫 Unified Thinker 的独立规划模块,专门解决生图模型一遇到需要精确空间推理的任务就乱来的问题。它不像以前那样让模型边想边画,而是把“思考”和“执行”拆开:先让模型生成结构化的推理步骤,再把这些步骤翻译成具体的视觉指令去生图。

推荐理由:浙大和阿里为生图模型提出 Unified Thinker 规划模块,把思考与执行拆开,先产出结构化推理步骤再转成视觉指令,可用于了解提升精细空间任务可靠性的思路。

AI HOT 精选

Grok Build 测试版上线,SuperGrok 用户能直接用它做图、剪视频和跑自动化脚本

xAI 把 Grok Build 的测试版开放给了所有 SuperGrok 和 X Premium+ 用户。这次主要给了三个东西:Plan Mode 可以分步骤拆解任务;Imagine 模块能直接生成图片和视频;还有一个命令行工具(CLI),方便你把 Grok 接进自动化流程或者编排器里干活。想试的话去 x.ai/cli 就能开始。

推荐理由:xAI 将 Grok Build 测试版开放给 SuperGrok 和 X Premium+ 用户,提供分步拆解任务的 Plan Mode、生成图片视频的 Imagine 模块以及可接入自动化流程的命令行工具。

5月25日星期一

r/LocalLLaMA

NuExtract3 发布:一个 4B 开源视觉模型,能把图片和文字转成 Markdown、做 OCR 和按模板抽信息,自己电脑就能跑

Numind 放出了 NuExtract3,一个基于 Qwen3.5-4B 的开源视觉语言模型,用 Apache-2.0 协议。它主要干三件事:把图片或文字转成 Markdown 格式、从图片里直接识别文字(OCR)、以及按你给的 JSON 模板把非结构化内容抽成结构化数据。模型只有 4B 参数,对硬件要求不高,官方说最低 4GB 显存就能在本地部署。

推荐理由:Numind 开源了 4B 视觉模型 NuExtract3,可把图片文字转成 Markdown、做 OCR 并按 JSON 模板抽取结构化数据,最低 4GB 显存即可本地部署。

机器之心 · 公众号

众趣科技开源浏览器端3D高斯泼溅查看器,10亿个高斯点也能跑,内存和速度都比李飞飞团队的Spark 2.0强

众趣科技把他们的Aholo Viewer开源了,这是一个在浏览器里直接看3D高斯泼溅场景的工具。在300万个高斯点的测试里,它占用的内存只有Spark 2.0的一半,加载速度快了一倍,渲染速度快了两倍,而且宣称能撑住10亿个高斯点的场景。

推荐理由:众趣科技开源浏览器端3D高斯泼溅查看器Aholo Viewer,300万高斯点测试中内存占用为Spark 2.0的一半、加载快一倍、渲染快两倍,并称可支撑10亿点场景。

5月24日星期日

机器之心 · 公众号

ICML 2026 中了一篇让视觉模型学会“多条思路并行思考”的论文,但正文被验证页挡住了

这篇被 ICML 2026 接收的论文叫 Visual Para-Thinker,给视觉语言模型加了一套并行思考框架。核心是用 Pa-Attention 和 LPRoPE 把视觉推理拆成四条独立路径,让模型同时从不同角度理解图像,再综合出答案。训练数据是 16.3 万组问答对,规模不算大,所以泛化能力得打个问号。

推荐理由:ICML 2026 接收的 Visual Para-Thinker 用 Pa-Attention 和 LPRoPE 把视觉推理拆成四条并行路径,训练数据为 16.3 万组问答对。

新智元 · 公众号

Anthropic 三张底牌全翻:Mythos 1 首次现身,Opus 4.8 被扒出

Anthropic 的新模型和项目被提前曝光了。claude-opus-4.8 的名字出现在 Google Vertex AI 平台上,同时一份 59.8MB 的 Claude Code 源码映射文件泄露,里面 51.2 万行 TypeScript 代码不仅提到了 Sonnet 4.8,还带出了 Mythos 1 的线索。

推荐理由:Anthropic 尚未发布的 claude-opus-4.8 出现在 Google Vertex AI 平台,一份 59.8MB 的 Claude Code 源码映射文件又带出 Sonnet 4.8 与 Mythos 1 的线索,呈现其产品线命名与迭代节奏。

r/LocalLLaMA

视觉模型直接读 PDF vs 先 OCR 再问答:一次长文档实测

作者用 Claude Sonnet 4.5 跑了 MMLongBench-Doc 里的 30 份带图、带表格的 PDF,共 171 道题,对比两种路线:让模型直接看 PDF 画面,和先用 OCR 把文档转成文字再喂给模型。直接看 PDF 的准确率只有 52.0%,在六套方案里排第五,每次查询成本 0.2552 美元。

推荐理由:作者用 Claude Sonnet 4.5 在 MMLongBench-Doc 的 30 份带图表 PDF 上对比直接读画面与先 OCR 再问答,直接读的准确率为 52.0%,单次查询成本 0.2552 美元。

5月23日星期六

机器之心 · 公众号

FlashAR 用 0.05% 的训练数据,把自回归图像模型的生成速度提了 22.9 倍

浙大和阿德莱德大学搞了个 FlashAR,专门给预训练好的自回归图像模型加速。拿 Emu3.5-Image-34B 试了一下,生成一张 512×512 的图,原来要 130.10 秒,现在只要 5.68 秒,快了 22.9 倍。而且只用了原始训练数据量的 0.05% 做微调,GenEval 分数从 80.48 变成 80.29,画质基本没掉。

推荐理由:浙大与阿德莱德大学提出 FlashAR,仅用原始训练数据 0.05% 微调,就把 Emu3.5-Image-34B 生成 512×512 图像从 130.10 秒压缩到 5.68 秒。

The Verge · AI

上手 Gemini Omni:什么都能转什么都能生,我先拿毛绒玩具试了试

作者去年用 Gemini 给儿子的毛绒鹿做过一段度假视频,没给孩子看,但这件事让他反复琢磨“无害的 AI 乐子”和“纯 AI 垃圾”之间的那条线。这次上手 Gemini 的“任意输入、任意输出”新模型,他再次拿那只毛绒鹿做了一段 deepfake 视频,发现生成逼真视频的工具已经好用到几乎不需要技术门槛,而且这个趋势还在加速。

推荐理由:The Verge 作者用一张毛绒鹿照片上手 Gemini 任意输入任意输出模型,生成逼真视频几乎不需技术门槛,生成工具的门槛正在快速降低。

r/LocalLLaMA

美团 LongCat 放出视频数字人模型 1.5 版,换用 Whisper 做语音驱动,推理步数压到 8 步

美团 LongCat 在 Hugging Face 上发了 LongCat-Video-Avatar-1.5,模型权重用 MIT 协议开源。它能做音频驱动视频、音频加图片驱动视频,还能接着一段视频往后生成。这版把语音编码器从 Wav2Vec2 换成了 Whisper-Large,理论上对语音的理解会更准。

推荐理由:美团 LongCat 开源了视频数字人模型 1.5 版,权重用 MIT 协议,语音编码器由 Wav2Vec2 换成 Whisper-Large,推理步数压到 8 步。

AI HOT 精选

Gemini 月活破 9 亿,新增两个能替你干活的代理功能

Google 说 Gemini 应用月活用户超过 9 亿了。这次更新把 Gemini 从问答工具往主动干活的个人代理方向推了一步。新模型叫 Gemini 3.5 Flash,还换了套叫“Neural Expressive”的设计语言,另外 Gemini Omni 模型能把提示词直接生成视频。

推荐理由:Google 将 Gemini 应用月活做到 9 亿,同时上线 Daily Brief 和 Gemini Spark 两个代理功能,后者可在用户授权下持续跑任务,呈现大厂用自家分发渠道推代理产品的路径。

5月22日星期五

TechCrunch · AI

Google 的 AI 眼镜我们上手试了,离好用就差一口气

Google 在 I/O 大会上给了一小段上手时间,试的是带显示功能的 Android XR 眼镜,不是今年秋天只出声的那款。镜片上能直接叠一层信息,比如天气、步行导航、打车详情和实时翻译,还能用 AI 自己捏小组件。眼镜会同时支持 iPhone 和安卓手机。但正文没提价格、什么时候开卖、续航和具体硬件参数,所以现在只能算工程机阶段,别急着掏钱。

推荐理由:Google 在 I/O 上开放了带显示 Android XR 眼镜的短时上手,镜片能叠加导航、翻译等信息,并同时支持 iPhone 与安卓手机。

AI HOT 精选

Project Genie 接入谷歌街景,能把美国真实地点变成可交互世界

Project Genie 和谷歌地图街景打通了,现在你可以把美国真实地点直接转成能走进去玩的交互式世界。正文没披露具体支持哪些城市、生成机制、收费方式,也没说开放范围有多大。

推荐理由:Project Genie 打通谷歌街景,把美国真实地点直接转成可走进的交互式世界,省去手工建模这一步,为仿真和世界模型提供现成环境来源。

AI HOT 精选

网易有道把“子曰4”的多模态模型和语音合成模型都开源了

这次开源的是一个270亿参数的多模态模型和一个语音合成模型。多模态模型主要针对教育场景,能看懂带图表的数学题,在纯中文数理难题上准确率81.4%。团队用精简过的推理样本做训练,把模型思考过程的输出长度压缩了43.2%,所以回答同样的问题,吐出的token更少、推理更快,直接效果就是推理成本会降下来。

推荐理由:网易有道开源270亿参数多模态模型与语音合成模型,前者面向教育场景,在纯中文数理难题上准确率达81.4%,训练中压缩思考过程输出长度43.2%,推理成本随之下降。

Hacker News 首页

宾州一所高中被 AI 换脸裸照撕裂

404 Media 报道,宾州拉德诺高中一名高一男生花了 250 美元订阅 App Store 里的 Movely 应用,把五名女同学的脸贴到裸体上,生成了 AI 儿童性虐待材料。事情发生在 2025 年 12 月,男生事后用学校发的设备在 Snapchat 上跟朋友说“每一分钱都花得值”,第二天他没去上学,但女生们去了,还发现男生们在替他打掩护。

推荐理由:宾州拉德诺高中一名高一男生花250美元订阅应用,把五名女同学的脸贴到裸体上生成AI儿童性虐待材料,事件在校园内持续发酵。

机器之心 · 公众号

CVPR 2026 | HiF-VLA:用视频压缩的思路教机器人“边看动作边想下一步”

西湖大学团队搞了个叫 HiF-VLA 的框架,核心想法是把机器人看世界的方式从“一帧帧静态图”换成“画面怎么动的”。它直接用 H.264 这类视频编码器从画面里提取紧凑的运动向量,再让一个联合专家模型同时预测未来的视觉动态和该做的动作序列。论文里给的数据是,在设定的历史窗口下,显存峰值 31.4GB,延迟 117.7 毫秒。

推荐理由:西湖大学团队提出 HiF-VLA,用 H.264 运动向量替代逐帧视觉编码,并让联合专家模型同时预测视觉动态与动作序列,显存峰值 31.4GB、延迟 117.7 毫秒。

机器之心 · 公众号

Meta 华人团队发布 ATLAS:用一个词让视觉模型学会可泛化的推理

Meta AI 和港中文的研究者搞了个叫 ATLAS 的方法,核心是在视觉语言模型里塞一个“功能词”(Functional Token),让模型能同时走两条路:一条是显式的、一步步调用工具去操作图像(Agentic 推理),另一条是隐式的、在内部潜空间里直接算(Latent 推理)。

推荐理由:Meta AI 与港中文提出 ATLAS,在视觉语言模型中加入功能词,使同一次推理可切换显式调用工具与潜空间内部计算两条路径。

AI HOT 精选

可塑界面:AI 让软件界面按需变形,不再只有一种固定样子

Salesforce 已经“砍掉”了传统界面,销售不用登录网站就能通过 AI 更新交易记录。作者把这种趋势叫做“可塑界面”——AI 能根据你当下在干嘛,动态生成最适合的交互形式,比如开车时给你念邮件摘要、审文案时弹出网页应用、做预算时直接给个带图表的表格。

推荐理由:Salesforce 已让销售不登录网站、通过 AI 更新交易记录,作者据此提出可塑界面,即界面按当下场景动态生成,为理解软件交互形态提供一种新视角。

AI HOT 精选

Runway 上线 Aleph 2.0 和 Edit Studio,把生成、剪辑、后期塞进一个平台

Runway 把新模型 Aleph 2.0 直接做成了一个叫 Edit Studio 的剪辑工具,主打用自然语言改视频,改之前还能先预览效果。从页面看,它把视频生成、多镜头合成、场景搭建、画质增强、动作捕捉和物体移除这些功能都打包在一起了,想覆盖从创意到出片的完整流程。

推荐理由:Runway 将新模型 Aleph 2.0 做成 Edit Studio 剪辑工具,支持自然语言改视频并先预览效果,同时打包生成、合成、增强、动捕与物体移除,覆盖从创意到出片的完整流程。

5月21日星期四

TechCrunch · AI

Hark 拿了 7 亿美元 A 轮,要做一套神秘的“通用”AI 交互界面

Hark 这家 AI 公司刚宣布融了 7 亿美元,估值直接拉到 60 亿。他们想做一个能跨 App、跨设备干活的个人 AI 助手,今年夏天先放出能同时处理文字、图像、声音的多模态模型,之后再推专用硬件。但正文没披露具体投资人名单之外的细节,也没说模型参数、性能基准、硬件长什么样、什么时候能买到。

推荐理由:Hark 以 7 亿美元 A 轮融资把估值做到 60 亿,计划今夏先推出文字、图像、声音多模态模型,再落地专用硬件,指向跨 App、跨设备的个人 AI 助手方向。

新智元 · 公众号

中科大两篇顶会论文:教多模态大模型持续学新知识,同时不忘旧本事

中科大团队在顶会上发了两篇工作,专门解决多模态大模型“学新忘旧”的问题。一篇是 MMEVOKE,搞了一个包含 159 个子类、9422 个样本的评测集,用来检验模型在持续学习中会不会把之前的知识覆盖掉。另一篇是 KORE,提出用知识树扩充样本,再通过零空间约束微调来减少遗忘。

推荐理由:中科大团队用 MMEVOKE 评测集和 KORE 微调方法,针对多模态大模型持续学习中的遗忘问题给出可复用的评测与训练思路。

机器之心 · 公众号

VAST 和清华搞了个新方法,让 3D 生成把算力花在刀刃上,高斯点数量砍半画质还能打

这篇论文正文被微信环境验证挡住了,看不到具体技术细节。从标题和已知信息看,他们提出了一种叫 DeG 的 3D 生成方法,核心思路是让模型自己学会在物体细节丰富的地方多放高斯点、在平坦区域少放点,而不是均匀撒点。这样能用不到一半的高斯点数量,达到跟 TRELLIS 差不多的画面质量。

推荐理由:VAST 与清华提出 DeG 方法,让模型按物体细节密度分配高斯点,用不到一半的点数达到 TRELLIS 相近画质。

机器之心 · 公众号

谢赛宁团队发布第二代表征自编码器 RAEv2,训练效率大幅提升

谢赛宁团队、Adobe Research 和澳大利亚国立大学放出了 RAEv2。在 ImageNet-256 上训练 80 轮后,生成质量指标 gFID 做到了 1.06。更关键的是效率:衡量收敛速度的 EPFID@2 从上一代需要的 177 轮训练直接压缩到 35 轮,计算量维持在 189 GFLOPs 没涨。

推荐理由:谢赛宁团队联合 Adobe Research 和澳大利亚国立大学发布 RAEv2,在 ImageNet-256 上把收敛所需训练轮数从上一代的 177 轮压到 35 轮,计算量维持在 189 GFLOPs。

AI HOT 精选

腾讯发布操作系统层级的 AI 助手“马维斯”,Windows、Mac、安卓同步上线

腾讯公关总监张军宣布 AI 助手“马维斯”正式上线,覆盖 Windows、Mac 和安卓。它不是一个普通的聊天窗口,而是直接长在系统层,能理解文件结构、归类解析文档、识别处理图片,甚至帮你修电脑。官方说市面上 Agent 能做的事它基本都能做,还能调度不同模型、在电脑上操控手机应用。

推荐理由:腾讯将 AI 助手马维斯直接做进操作系统层,Windows、Mac 和安卓三端同步上线,可解析文档、识别图片并操控手机应用,桌面 Agent 的形态由此从应用内扩展到系统级。