跳到正文

研究与技术报告

厂商和机构的官方研究文章与技术报告:架构创新、训练方法、能力测量与安全研究的解读。本站不收纯学术论文。

最新精选

第 161–180 条 · 共 315 条

5月16日星期六

r/LocalLLaMA

Orthrus-Qwen3-8B:冻住 Qwen3-8B 主干,加一个扩散注意力头,一次前向最多吐出 7.8 倍的 token,输出分布数学上可证明不变

这个工作把 Qwen3-8B 的原始参数完全冻住,只额外训练一个扩散注意力头,让模型一次前向能生成多个 token,最高做到 7.8 倍。在 MATH-500 上实测 wall-clock 速度大约快了 6 倍。训练只动了 16% 的参数,用了不到 10 亿 token 的数据,在 8 张 H200 上跑了 24 小时。

推荐理由:研究团队冻结 Qwen3-8B 主干,仅训练一个扩散注意力头,在 MATH-500 上把单次前向的 token 吞吐提到最高 7.8 倍,墙钟时间约快 6 倍,输出分布保持不变。

5月15日星期五

机器之心 · 公众号

MemPrivacy 给 AI 记忆加了一层本地化名保护,边端和云端都能用

MemTensor 和荣耀开源了一套叫 MemPrivacy 的隐私方案,专门保护边端和云端 agent 的记忆数据。做法是在本地把敏感信息换成可逆的化名,模型看到的是假名,但需要时还能还原。

推荐理由:MemTensor 与荣耀开源 MemPrivacy,在本地把 agent 记忆中的敏感信息替换为可逆化名,模型只见到假名、需要时再还原,为端云两侧的记忆隐私提供了一条可迁移的工程思路。

新智元 · 公众号

Anthropic 用 NLA 把 Claude 脑子里的想法翻译成人话,解释力最高到 80%

Anthropic 发了个叫 NLA(自然语言自编码器)的新研究,能把 Claude 模型内部的激活向量直接转成自然语言。在 Opus 4.6 上,NLA 对激活模式的解释方差能到 60% 到 80%,也就是能说清楚模型当时在想什么的比例。

推荐理由:Anthropic 发布 NLA 研究,把 Claude 内部激活向量直接转成自然语言,在 Opus 4.6 上对激活模式的解释方差达 60% 到 80%,为理解模型内部状态提供了一种可量化的路径。

新智元 · 公众号

谷歌把 Gemini 塞进鼠标指针,指哪就能让 AI 干活,连提示词都不用写

谷歌 DeepMind 放出了一个叫“AI 指针”的实验项目,核心是把 Gemini 模型直接挂在鼠标指针上。你在屏幕上指一个区域,AI 就能理解上下文并执行操作,比如修图或在地图上找地点。目前有两个 Demo 在 Google AI Studio 里能玩:一个是图片编辑,另一个是地图地点查找。

推荐理由:谷歌 DeepMind 把 Gemini 挂在鼠标指针上,指哪就能让 AI 理解上下文并执行修图或找地点,两个 Demo 已在 AI Studio 开放体验。

AI HOT 精选

Anthropic 的 Mythos AI 五天挖出两个 macOS 内核漏洞,还串成一条提权攻击链

《华尔街日报》说,Anthropic 的安全研究工具 Mythos 在五天内帮研究人员找到两个之前没人发现的 macOS 内核漏洞,并把它们串成一个完整的提权攻击链,绕过了苹果的内存完整性保护。这意味着攻击者能碰到系统本该锁死的区域。报道指出,现在 macOS 的防御思路已经不是不让漏洞被发现,而是尽量抬高漏洞利用的门槛。

推荐理由:Anthropic 的安全研究工具 Mythos 在五天内协助研究人员发现两个此前未知的 macOS 内核漏洞,并串成一条绕过内存完整性保护的提权攻击链。

r/LocalLLaMA

让 7B 小模型从自己的错误里学习,HumanEval 正确率从 15% 涨到 68%,跑一次训练只要 3.5 美元

作者拿 Qwen 2.5 7B 基础模型做实验,先让它自己写代码、自己跑测试,把跑不过的代码和报错信息收集起来,再让它根据报错改出正确版本,这样就自动生成了“错误-修正”配对数据。用这批数据微调后,7B 模型在 HumanEval 上的通过题数从 25 题(约 15%)提升到 112 题(约 68%),数学能力也超过了 GPT-3.5。

推荐理由:作者让 Qwen 2.5 7B 自己写代码、跑测试,把报错和修正过程做成训练数据,微调后 HumanEval 通过率从约 15% 升到约 68%,展示了用模型自身错误生成训练样本的可行路径。

r/LocalLLaMA

MOOSE-Star:用 7B 小模型和 10 万篇论文做科学假设发现,ICML 2026 接收

MiroMind 放出了 MOOSE-Star 系列,包含三个 7B 模型和一个叫 TOMATO-Star 的数据集,里面有 108,717 篇 NCBI 论文。

推荐理由:MiroMind 公开 MOOSE-Star 系列三个 7B 模型与含 108,717 篇 NCBI 论文的 TOMATO-Star 数据集,模型权重和数据集均可获取,为科学假设发现方向提供可复用的训练资源。

r/LocalLLaMA

inclusionAI 在 Hugging Face 上放出了 Ring-2.6-1T,一个 1 万亿参数、支持多档推理强度的模型

Ring-2.6-1T 是 inclusionAI 发布的一个 1 万亿参数推理模型,主打让模型进业务流程干活(agent workflow)和长链条任务。它提供 high 和 xhigh 两档推理强度,训练时用了异步强化学习加 IcePop 算法来稳住训练过程。不过 Reddit 原帖被网络屏蔽,正文没披露更多技术细节、实际跑分或硬件需求,这点先别太激动。

推荐理由:inclusionAI 在 Hugging Face 发布 1 万亿参数模型 Ring-2.6-1T,面向 agent workflow 与长链条任务,提供 high 和 xhigh 两档推理强度,训练采用异步强化学习加 IcePop 算法。

5月14日星期四

AI HOT 精选

李沐团队发布 SenseNova U1 技术报告,开源 MoE 模型权重

商汤联合创始人李沐带的团队把 SenseNova U1 的技术报告和模型权重放出来了,用的是混合专家(MoE)架构。报告讲了模型怎么搭、怎么训,但正文没提参数量多大、开源协议是什么、跑分结果怎么样。团队说这么干是为了让研究更透明、别人能复现。我会先打个折——没给规模数据和基准测试,实际能用在哪、省不省钱都还不好判断。

推荐理由:李沐团队公开 SenseNova U1 技术报告与 MoE 模型权重,披露了模型搭建和训练方法,为关注 MoE 架构实现路径的研究者提供了一份可复现的参考。

机器之心 · 公众号

灵初智能用10万小时人类操作数据训练机器人,但文章正文被验证页挡住了

这篇微信文章标题说灵初智能(PsiBot)用了10万小时的人类操作数据来训练机器人策略,还提到一个叫W0的世界模型只在训练时做迁移,实际部署只跑R2。但页面被环境异常验证拦住了,正文内容完全看不到,没法确认具体怎么采集数据、在什么任务上验证、效果到底怎么样。

推荐理由:灵初智能称用10万小时人类操作数据训练机器人策略,W0世界模型只在训练时做迁移,部署仅运行R2,其数据采集方式与任务验证结果尚无法确认。

机器之心 · 公众号

阿里达摩院用信息瓶颈做自奖励,让模型做数学题时多试几条不同的路

阿里达摩院发了篇 ACL 2026 论文,提出 I²B-LPO,解决强化学习微调时模型解题思路越来越像的问题。做法是在模型生成答案时,碰到它犹豫不决的节点就分叉出多条路径,再用一个基于信息瓶颈的自奖励机制筛掉重复的、留下真正不一样的解法。

推荐理由:阿里达摩院提出 I²B-LPO,在模型解题犹豫处分支采样,并用信息瓶颈自奖励筛出不同解法,缓解强化学习微调中思路趋同的问题。

5月13日星期三

量子位 · 公众号

字节提出 GRN,让生图模型像人一样边画边改,不再死磕扩散和自回归

字节跳动的技术团队搞了个叫 GRN(生成式精炼网络)的新架构,想给视觉生成找第三条路,不跟扩散模型和自回归模型硬卷。它的核心思路是让模型先生成一张粗糙的图,再反复精修,就像画师先铺大色块再慢慢抠细节。为了解决反复修图容易把图修糊、错误越攒越多的问题,他们用了三项技术:HBQ(分层二元量化)把图片压成更紧凑的离散编码,减少信息损耗。

推荐理由:字节团队提出 GRN 架构,让视觉生成先出粗图再反复精修,并用 HBQ 分层二元量化压缩离散编码以减少信息损耗,为扩散与自回归之外的第三条路线提供了具体技术方案。

AI HOT 精选

商汤发 SenseNova-U1 技术报告,开源一个激活参数仅 30 亿的多模态模型

报告把训练一个原生多模态模型的全流程拆成了六步,从统一建模、无损接视觉信号,到用自回归加像素空间流匹配一起训,再到强化学习后训练和蒸馏,每一步都给了实操细节。开源版本 SenseNova-U1-A3B-MoT 用了混合专家架构,只激活 30 亿参数,主打跑得快、成本低。

推荐理由:商汤发布 SenseNova-U1 技术报告,把原生多模态模型从统一建模到强化学习后训练、蒸馏的六步流程逐项拆开,并开源激活参数 30 亿的混合专家版本。

5月12日星期二

Google DeepMind

Google DeepMind 发布 Co-Scientist 多智能体科研系统

Google DeepMind 在 Nature 发表 Co-Scientist 研究,推出基于 Gemini 的多智能体 AI 系统,可迭代生成、辩论和演化复杂科学问题的新假设。

推荐理由:Google DeepMind 在 Nature 发表 Co-Scientist 研究,该系统由 Gemini 驱动的多个专职智能体分工完成假设生成、辩论与演化,并已用于抗微生物耐药等课题。

Latent Space

Thinking Machines 发布原生交互模型:2760 亿参数,120 亿激活,实时语音不再靠外挂

Thinking Machines 终于又冒泡了,这次直接扔了个新模型 TML-Interaction-Small。总参数 2760 亿,是个 MoE 架构,实际干活时只激活 120 亿参数。它最狠的地方是把实时语音交互做进了模型骨子里,不再像以前那样给大语言模型外挂语音识别和合成模块。

推荐理由:Thinking Machines 发布 TML-Interaction-Small,2760 亿总参数、120 亿激活的 MoE 架构,把实时语音交互直接做进模型,不再外挂语音识别与合成模块。

量子位 · 公众号

上海 AI 实验室发现:有监督微调能跨领域泛化,但得满足三个条件

上海 AI 实验室、上海交大和中科大的团队拿 Qwen3-14B-Base 做长思维链的监督微调实验,发现模型在训练 8 轮后,跨领域的表现会先跌后涨,最终超过原始水平。他们总结出泛化要成立的三个条件:一是得把模型训得足够深,不能浅尝辄止;二是训练数据的质量和结构要过关;三是基座模型本身的能力得够强。

推荐理由:上海 AI 实验室等团队用 Qwen3-14B-Base 做长思维链微调,观察到跨领域表现先跌后涨,并归纳出泛化成立的三个条件。

AI HOT 精选

OpenAI 办了一场“参数高尔夫”比赛,1000 多人用 AI 助手卷模型压缩,我们看到了什么

OpenAI 搞了个叫 Parameter Golf 的机器学习挑战赛,规则很硬:模型加代码总大小不能超过 16MB,训练时间只有 10 分钟(用 8 张 H100),看谁能在固定数据集上把测试损失压到最低。超过 1000 人提交了 2000 多次结果。我会先打个折,正文没披露最终冠军的具体分数,但重点讲了技术路数。

推荐理由:OpenAI 举办 Parameter Golf 挑战赛,限制模型加代码不超过 16MB、训练仅 10 分钟,超 1000 人提交 2000 多次结果,复盘了参赛者用 AI 助手压缩模型的技术路数。

r/LocalLLaMA

把 prompt 缓存用到强化学习训练里:长提示短回复场景下,Qwen3.5-4B 训练速度提升 7.5 倍

作者提出在强化学习训练时复用 prompt 缓存,专门针对那种提示很长、模型回复很短的任务。在 Qwen3.5-4B 上跑 16k token 提示、64 token 回复的例子,训练速度直接快了 7.5 倍。

推荐理由:作者把推理阶段的 prompt 缓存思路搬进强化学习训练,针对长提示短回复任务复用重复 token 计算,在 Qwen3.5-4B 上跑 16k 提示、64 token 回复时训练速度提升 7.5 倍。

5月11日星期一

机器之心 · 公众号

ICML 2026 论文:PRISM 框架让扩散语言模型做推理时扩展不再烧算力

这篇 ICML 2026 的论文给扩散语言模型(dLLM)提出了一套叫 PRISM 的推理时扩展方法。它把搜索过程拆成三层:先让模型并行生成多条推理路径,再对每条路径局部“回退重写”不靠谱的步骤,最后用模型自己当裁判打分筛选。在数学题集 GSM8K 上,LLaDA-8B-Instruct 的准确率从 67.58% 拉到了 85.30%。

推荐理由:ICML 2026 论文提出 PRISM 框架,用并行生成、局部回退重写和自评分筛选三层搜索做推理时扩展,在 GSM8K 上把 LLaDA-8B-Instruct 准确率从 67.58% 提到 85.30%。

AI HOT 精选

Qwen-Image-2.0 技术报告:把视觉理解模型和扩散模型拼在一起,生图和改图用一个框架搞定

这篇技术报告介绍了 Qwen-Image-2.0,一个把生图和精确修图合到一个模型里的方案。它的做法是把 Qwen3-VL 当成“条件编码器”,去理解你输入的指令,再连上一个多模态扩散模型来出图。指令最长能塞进 1000 个 token。报告里说,这套架构在多语言文字渲染、画面排版质量、以及人工打分上都有提升,尤其适合文字多、构图复杂的场景。

推荐理由:Qwen-Image-2.0 将 Qwen3-VL 作为条件编码器接入多模态扩散模型,把生图与精确修图合入同一框架,指令最长支持 1000 个 token,报告称多语言文字渲染与排版质量有提升。