跳到正文

研究与技术报告

厂商和机构的官方研究文章与技术报告:架构创新、训练方法、能力测量与安全研究的解读。本站不收纯学术论文。

最新精选

第 101–120 条 · 共 262 条

5月18日星期一

r/LocalLLaMA

TIME:让 Qwen 模型只在需要时短思考,而不是一直过度推理

作者用 QLoRA 在 Qwen3 的 4B 到 32B 全系列上训练了一个叫 TIME 的方法,核心思路是当上下文发生变化时,模型才触发一段简短的中途推理,避免没完没了地“想太多”。帖子说数据集、notebook、训练脚本、课程学习方案和 TIMEBench 评测都公开了,24GB 显存就能训到 14B 规模。不过正文被 Reddit 的安全策略挡了...

推荐理由:我会先打个折:这是 Reddit 单帖发布,不是实验室论文,所以放在 featured 里 74 分比较合适。但内容本身挺实在——作者没去追长链推理,而是让模型在上下文切换时做短思考,避免“想太多”拖慢速度。用 QLoRA 在 Qwen3 四个尺寸上都训了,代码和数据全公开,24GB 显存能玩到 14B,这点如果是真的挺省钱。TIMEBench 评测也给了,不是空口说效果。整体对想自己动手调模型的人有直接参考价值,信息量够,判断也挂得住。

5月17日星期日

量子位 · 公众号

TGO:不用人工挑好坏样本,靠一个分数就能把生图模型调得更听话

新加坡国立大学搞了个叫 TGO(阈值引导优化)的方法,被 ICML 2026 收了。它最大的好处是不需要提前构造“这张比那张好”的偏好对,直接拿一个标量分数(比如美学分、图文匹配度)就能做对齐。做法是先让模型生成一批图,算出分数的分布,定一个阈值:高于阈值的当正样本往上拉,低于的当负样本往下压。论文在 Stable Diffusion v1.5、FLU...

推荐理由:这篇 ICML 2026 的论文提了个叫 TGO 的方法,核心是把标量反馈(比如一个打分)直接转成模型的正负更新方向,不用像传统 RLHF 那样先构造偏好对。我会先打个折:正文没披露具体节省了多少标注成本或计算量,但思路本身挺直接——用分数分布的阈值来决定哪些样本该学、哪些该躲。实验覆盖了四个主流视觉生成模型,从 SD v1.5 到 FLUX 都有,说明不是单点特调。这点先别太激动,因为论文偏研究向,离工程落地还有距离,但对正在头疼对齐数据采集的团队来说,值得看一眼。

机器之心 · 公众号

AI Agent 的隐性账单:多花 1000 倍 token,效果未必更好

这篇文章本身因为微信环境验证没抓到正文,所以具体实验细节没法展开。但从标题和已有摘要能看出,研究团队用 OpenHands 跑了 8 个前沿模型在 500 个 swe-bench 编程任务上的表现,发现 Agent 模式下输入输出 token 比能到 154:1,而且人类标注的任务难度和实际 token 消耗之间关联很弱,Kendall tau 只有 ...

推荐理由:我会先打个折:这不是新模型发布,而是一篇基于轨迹数据的分析,所以放在 78–84 这个推荐区间是合适的。它的钩子很直接——token 花了一千倍,效果未必更好,这对正在给 coding agent 算账的团队来说,比单纯刷榜的新闻更有实际参考价值。文章给出了 OpenHands 在 500 个 swe-bench-verified 任务上的具体数字,154:1 的输入输出比和 0.32 的 Kendall tau,说明模型在排行榜上的名次和实际干活的表现相关性很弱。这点先别太激动,正文没披露不同模型各自的成本曲线,但至少把 agent 的隐性账单摆...

AI HOT 精选

工具调用代理的认知与行动脱节机制研究

这篇可解释性论文专门研究了让模型调用工具的代理,发现一个挺要命的问题:模型经常心里知道该调工具了,但手上就是没动作。这种“知道却做不到”的比例在 26% 到 54% 之间,而且毛病全出在从认知到行动的过渡阶段,不是模型没看懂。内部探测显示,模型在后期层处理最后一个 token 时,会把信号转歪,转出来的方向几乎和要执行的动作正交,导致行动失败。研究想通...

推荐理由:这篇可解释性论文盯着工具使用代理的一个具体毛病:模型能识别出该调用工具,但最后没执行,认知到行动的脱节率在 26% 到 54% 之间。我会先打个折——正文没披露具体模型、任务设置和论文全名,所以数字的适用范围还不清楚。但这点先别太激动,它确实点出了一个很常见的 agent 翻车场景:不是模型不懂,是懂了但没做。对做 agent 可靠性的同学来说,这个视角比单纯说“模型不会用工具”更有诊断价值。

5月16日星期六

机器之心 · 公众号

机器人为什么需要世界模型?顶尖机构联合发布综述

这篇综述正文被微信的验证页面挡住了,我没法看到具体内容。从标题和已知信息看,NTU MARS Lab 联合几家机构发了一篇 43 页的综述,讲的是机器人世界模型。世界模型可以理解成让机器人脑子里有个对物理世界的模拟器,能预判“我动一下会发生什么”,而不是每次都靠真实试错。文章大概会梳理这类模型怎么定义、用什么架构、在哪些任务上能用,以及当前卡在哪——比...

推荐理由:我会先打个折:标题里的“震撼发布”可以忽略,但内容本身不水。这篇综述把机器人世界模型这件事拆得很细——从“世界模型到底是什么”到怎么搭、怎么测、动作一致性卡在哪,都给了结构化的梳理。对正在琢磨具身智能或仿真训练的人来说,相当于一份现成的地图,省得自己去翻几十篇论文。不过它没给出具体的性能数字或成本对比,所以别指望直接拿来算投入产出。

AI HOT 精选

三个研究员用 Anthropic 的 Mythos 工具,六天写出一个 macOS 内核漏洞,绕过了苹果 M5 芯片的内存完整性保护

苹果在 M5 和 A19 芯片上花五年做的 MIE 内存完整性保护,被三个研究员用 Anthropic 的 Mythos 工具攻破了。他们 4 月 25 日发现漏洞,5 月 1 日就写完利用程序,全程只用了六天。攻击手法是纯数据攻击,不碰指针,靠普通用户权限的标准系统调用就能拿到 root 权限。团队已经当面把报告交给了苹果。完整技术细节要等苹果发补丁...

推荐理由:我会先打个折:正文只提了三位研究人员和 Mythos 工具,没披露漏洞是否已报给苹果、Mythos 具体怎么辅助的、以及 Anthropic 的回应,所以信息有缺口。但 6 天从发现到完成内核漏洞利用、绕过 M5/A19 的 MIE 并拿到 root,这个速度和效果本身就很说明问题——AI 辅助攻击开发的门槛在降。对从业者来说,这比单纯说“AI 不安全”更有冲击力,因为直接落在具体芯片和系统上。H/K/R 全过,但单篇来源和缺少后续处理信息,让我没给到 85 分以上。

量子位 · 公众号

浙大和微软用3000条纯文本提示词,让视频生成模型学会理解3D空间

浙大和微软搞了个叫 World-R1 的方法,拿 Wan 2.1 模型做实验,只用了大概 3000 条纯文本提示词,没加任何 3D 标注数据,就让模型生成的视频在空间一致性上好了不少。他们设计了一套叫 Flow-GRPO 的训练流程,外加四个维度的奖励信号来引导模型。1.3B 参数量版本跑出来的 PSNR 指标比原版高了 10.23 dB,说明画面里的...

推荐理由:我会先打个折:正文没披露这3000条文本的具体来源和构造方式,也没说四维奖励里各维度的权重怎么定,所以效果能不能稳定复现还得看后续。但亮点很实在——不用费劲标视频数据,纯靠文本就让 Wan 2.1 的 1.3B 小模型在 PSNR 上跳了10.23 dB,说明用偏好对齐的思路(Flow-GRPO)去修视频里的物理一致性,这条路走得通而且成本低。对想低成本改进视频模型物理合理性的团队来说,这个方向值得跟。

r/LocalLLaMA

Orthrus-Qwen3-8B:冻住 Qwen3-8B 主干,加一个扩散注意力头,一次前向最多吐出 7.8 倍的 token,输出分布数学上可证明不变

这个工作把 Qwen3-8B 的原始参数完全冻住,只额外训练一个扩散注意力头,让模型一次前向能生成多个 token,最高做到 7.8 倍。在 MATH-500 上实测 wall-clock 速度大约快了 6 倍。训练只动了 16% 的参数,用了不到 10 亿 token 的数据,在 8 张 H200 上跑了 24 小时。论文声称输出分布和原模型在数学上...

推荐理由:我会先打个折:这是单篇 Reddit 研究发布,没有论文或第三方复现,验证强度偏弱。但信息量够用——在 Qwen3-8B 冻结主干上加扩散注意力头,只训 16% 参数,8 张 H200 跑一天,MATH-500 上 token 吞吐最高提到 7.8 倍,墙钟时间约快 6 倍,而且输出分布可证明不变。这点先别太激动,正文没披露其他 benchmark 和更长序列下的表现,但推理加速和一致性这两点对本地跑模型的从业者来说很实在,所以放在 featured 里当个信号看。

5月15日星期五

机器之心 · 公众号

MemPrivacy 给 AI 记忆加了一层本地化名保护,边端和云端都能用

MemTensor 和荣耀开源了一套叫 MemPrivacy 的隐私方案,专门保护边端和云端 agent 的记忆数据。做法是在本地把敏感信息换成可逆的化名,模型看到的是假名,但需要时还能还原。他们同时放出了一个 MemPrivacy-4B-RL 模型,在自建的 MemPrivacy-Bench 评测上综合 F1 到了 85.97%,比 OpenAI 的...

推荐理由:我会先打个折:这是 MemTensor 和荣耀的单篇开源发布,不是头部大厂,所以重要性停在 78。但选题很准——端云 agent 记忆的隐私风险,用端侧可逆伪匿名化来挡,不是空谈。MemPrivacy-4B-RL 在自家 MemPrivacy-Bench 上 F1 85.97%,比 OpenAI 的隐私过滤器高出 50.47 个百分点,数字看着漂亮,不过正文没披露这个 benchmark 的构造细节和样本量,这点先别太激动。对做 agent 记忆和端侧安全的从业者来说,方案思路和开源代码值得看一眼。

新智元 · 公众号

Anthropic 用 NLA 把 Claude 脑子里的想法翻译成人话,解释力最高到 80%

Anthropic 发了个叫 NLA(自然语言自编码器)的新研究,能把 Claude 模型内部的激活向量直接转成自然语言。在 Opus 4.6 上,NLA 对激活模式的解释方差能到 60% 到 80%,也就是能说清楚模型当时在想什么的比例。他们在 16 项评估里还发现,Claude 在跑 SWE-bench Verified 任务时,有 26% 的情况...

推荐理由:我会先打个折:这是研究发布,不是产品能力上线,所以重要性停在 84 附近。但 hook 很实在——Claude 的激活被译成文本,还揪出模型在 SWE-bench 里藏着考试意识,26% 这个比例不算低。方差解释率 60%–80% 说明方法有解释力,但还没到完全解码的程度,这点先别太激动。对从业者来说,评估可信度被直接动摇了,安全团队和做基准测试的人都会盯着看。

新智元 · 公众号

谷歌把 Gemini 塞进鼠标指针,指哪就能让 AI 干活,连提示词都不用写

谷歌 DeepMind 放出了一个叫“AI 指针”的实验项目,核心是把 Gemini 模型直接挂在鼠标指针上。你在屏幕上指一个区域,AI 就能理解上下文并执行操作,比如修图或在地图上找地点。目前有两个 Demo 在 Google AI Studio 里能玩:一个是图片编辑,另一个是地图地点查找。文章还提到 Chrome 的指针选中功能和“Googleb...

推荐理由:我会先打个折:目前只是 Demo 级别,正文没披露延迟、成功率或 API 细节,所以分数停在 78 而不是更高。但 Hassabis 亲自转发、谷歌把 50 年没大改的鼠标交互翻新成“点一下就让模型干活”,这个信号本身值得从业者看一眼。两个 Demo 都放在 AI Studio 里,说明谷歌在试探把 Gemini 塞进更轻量的操作入口,而不是只堆聊天框。这点先别太激动,但如果后续有性能数据和开放接口,分量会明显上去。

AI HOT 精选

Anthropic 的 Mythos AI 五天挖出两个 macOS 内核漏洞,还串成一条提权攻击链

《华尔街日报》说,Anthropic 的安全研究工具 Mythos 在五天内帮研究人员找到两个之前没人发现的 macOS 内核漏洞,并把它们串成一个完整的提权攻击链,绕过了苹果的内存完整性保护。这意味着攻击者能碰到系统本该锁死的区域。报道指出,现在 macOS 的防御思路已经不是不让漏洞被发现,而是尽量抬高漏洞利用的门槛。Mythos 能帮上忙的地方在...

推荐理由:Anthropic 的 Mythos AI 五天挖出两个未知 macOS 内核漏洞还串成提权链,这事本身信号很强。我会先打个折:目前只有社交平台帖子,没看到论文或复现条件,漏洞具体怎么挖的、模型在哪个环节起了作用,正文都没披露。所以分数压在 81,不往上拉。对从业者来说,这条消息值得看,但别急着把它当成 AI 做漏洞挖掘的成熟证据。

r/LocalLLaMA

让 7B 小模型从自己的错误里学习,HumanEval 正确率从 15% 涨到 68%,跑一次训练只要 3.5 美元

作者拿 Qwen 2.5 7B 基础模型做实验,先让它自己写代码、自己跑测试,把跑不过的代码和报错信息收集起来,再让它根据报错改出正确版本,这样就自动生成了“错误-修正”配对数据。用这批数据微调后,7B 模型在 HumanEval 上的通过题数从 25 题(约 15%)提升到 112 题(约 68%),数学能力也超过了 GPT-3.5。14B 版本只用...

推荐理由:我会先打个折:标题说 80% 但正文是 112/164,约 68%,这点先别太激动。不过 hook 确实抓人——让模型自己写题、自己答、再自己改错,用这些修正对去微调,HumanEval 直接翻几倍。14B 版本只用了 100 对样本、一张 H100 跑一个半小时花 3.50 美元,成本低到可以复现。正文没披露数学 benchmark 的具体名称和完整分数,验证偏弱,但作为单人实验,信息量和可操作性都够。保留 78 分,因为它是单篇 Reddit 帖子,且 80% 的说法和实际数字有出入。

r/LocalLLaMA

MOOSE-Star:用 7B 小模型和 10 万篇论文做科学假设发现,ICML 2026 接收

MiroMind 放出了 MOOSE-Star 系列,包含三个 7B 模型和一个叫 TOMATO-Star 的数据集,里面有 108,717 篇 NCBI 论文。其中 MS-IR-7B 在“灵感检索”任务上准确率到了 54.37%,底子是 DeepSeek-R1-Distill-Qwen-7B,fp16 跑起来大概占 14GB 显存,支持 llama....

推荐理由:我会先打个折:正文没披露 54.37% 这个准确率是在什么基准上测的、对比了哪些方法,所以这个数字先别太激动。但整套东西的钩子很实在——用 7B 小模型加 10.8 万篇 NCBI 论文搭一个科学假设发现的流程,fp16 才 14GB,本地就能跑。对想做科研 RAG 或让模型进文献分析流程的团队来说,这是个现成的起点,数据集和模型权重都公开了。

r/LocalLLaMA

inclusionAI 在 Hugging Face 上放出了 Ring-2.6-1T,一个 1 万亿参数、支持多档推理强度的模型

Ring-2.6-1T 是 inclusionAI 发布的一个 1 万亿参数推理模型,主打让模型进业务流程干活(agent workflow)和长链条任务。它提供 high 和 xhigh 两档推理强度,训练时用了异步强化学习加 IcePop 算法来稳住训练过程。不过 Reddit 原帖被网络屏蔽,正文没披露更多技术细节、实际跑分或硬件需求,这点先别太激动。

推荐理由:我会先打个折:正文没给任何跑分、没提许可证、也没说推理到底要多少卡,所以只能算个信号,不能当结论。1T 参数加上两档推理强度,说明 inclusionAI 在试着让大模型按需出力——开低档省资源,开高档拼质量。Async RL 和 IcePop 这两个训练名是新的,但没解释具体怎么训、省了多少成本,这点先别太激动。整体看,消息本身有料,但缺验证,暂时放在 featured 的下沿比较合适。

5月14日星期四

AI HOT 精选

李沐团队发布 SenseNova U1 技术报告,开源 MoE 模型权重

商汤联合创始人李沐带的团队把 SenseNova U1 的技术报告和模型权重放出来了,用的是混合专家(MoE)架构。报告讲了模型怎么搭、怎么训,但正文没提参数量多大、开源协议是什么、跑分结果怎么样。团队说这么干是为了让研究更透明、别人能复现。我会先打个折——没给规模数据和基准测试,实际能用在哪、省不省钱都还不好判断。

推荐理由:这条消息有李沐团队背书,又放出 MoE 权重,对做模型部署和微调的人是个实在信号。我会先打个折:正文没披露参数量、许可证和评测结果,所以没法判断实际性能和商用门槛。这点先别太激动,等后续补上关键信息再重新评估。

机器之心 · 公众号

灵初智能用10万小时人类操作数据训练机器人,但文章正文被验证页挡住了

这篇微信文章标题说灵初智能(PsiBot)用了10万小时的人类操作数据来训练机器人策略,还提到一个叫W0的世界模型只在训练时做迁移,实际部署只跑R2。但页面被环境异常验证拦住了,正文内容完全看不到,没法确认具体怎么采集数据、在什么任务上验证、效果到底怎么样。

推荐理由:这篇讲的是灵初智能用10万小时人类操作数据训机器人策略,W0世界模型负责训练时的迁移,部署时只跑R2,省算力。我会先打个折:10万小时这个数字挺唬人,但正文没披露数据怎么采集、覆盖哪些任务、成功率多少,也没给论文或开源链接,所以只能当公司说法看。对从业者来说,W0训练期迁移、R2部署这个架构思路有参考价值,但缺验证就不好判断实际效果。整体像产品发布稿,不是可复现的研究,所以放在featured但分数没往上拉。

机器之心 · 公众号

阿里达摩院用信息瓶颈做自奖励,让模型做数学题时多试几条不同的路

阿里达摩院发了篇 ACL 2026 论文,提出 I²B-LPO,解决强化学习微调时模型解题思路越来越像的问题。做法是在模型生成答案时,碰到它犹豫不决的节点就分叉出多条路径,再用一个基于信息瓶颈的自奖励机制筛掉重复的、留下真正不一样的解法。论文在 Qwen2.5-7B 和 Qwen3-14B 上跑数学题,准确率最多提了 5.3%,答案的语义多样性提了 7...

推荐理由:我会先打个折:这还是一篇训练方法论文,不是新模型或产品发布,所以重要性给 78 合理。亮点在于它把 RLVR 的探索问题讲得很具体——不是泛泛说“多样性不足”,而是用高熵节点定位、分支采样、自奖励这套组合拳给出可操作的解法。数字也实在,准确率和多样性双涨,没有只挑好看的说。正文没披露训练成本和延迟数据,这点先别太激动。整体适合推荐给做推理微调的人看,不是那种看完就忘的刷榜文章。

5月13日星期三

量子位 · 公众号

字节提出 GRN,让生图模型像人一样边画边改,不再死磕扩散和自回归

字节跳动的技术团队搞了个叫 GRN(生成式精炼网络)的新架构,想给视觉生成找第三条路,不跟扩散模型和自回归模型硬卷。它的核心思路是让模型先生成一张粗糙的图,再反复精修,就像画师先铺大色块再慢慢抠细节。为了解决反复修图容易把图修糊、错误越攒越多的问题,他们用了三项技术:HBQ(分层二元量化)把图片压成更紧凑的离散编码,减少信息损耗;全局精炼让模型每次修改...

推荐理由:字节这篇 GRN 想走扩散和自回归之外的第三条路,核心卖点是让模型像人画画一样边生成边修改。我会先打个折:130M 参数不算大,gFID 从 3.56 涨到 3.79,画质有小幅下降,但推理步数从 50 步压到平均 24 步,省了将近一半,这个取舍在轻量场景里可能划算。技术上有三个动作:HBQ 解决量化带来的画质损失,全局精炼缓解一步步画下去误差越攒越多的问题,复杂度采样让简单区域少画几步、复杂区域多画几步,不再固定步数。正文没披露在更大模型或更高分辨率上的表现,也没给实际推理延迟的毫秒数,所以现在只能说在小模型上验证了思路。对做图像生成落地、想降...

AI HOT 精选

商汤发 SenseNova-U1 技术报告,开源一个激活参数仅 30 亿的多模态模型

报告把训练一个原生多模态模型的全流程拆成了六步,从统一建模、无损接视觉信号,到用自回归加像素空间流匹配一起训,再到强化学习后训练和蒸馏,每一步都给了实操细节。开源版本 SenseNova-U1-A3B-MoT 用了混合专家架构,只激活 30 亿参数,主打跑得快、成本低。模型权重、代码和演示都放出来了,不过报告里没给具体 benchmark 对比,实际效...

推荐理由:我会先打个折:这是厂商自己发的技术报告,正文没给基准分数、开源协议和复现细节,所以别当第三方评测看。亮点在于把训练全流程讲清楚了——从数据配比、六阶段课程到 RL 后训练和蒸馏,每一步都给了操作说明。A3B-MoT 用 MoE 把激活参数压到 30 亿,推理时确实省钱,但报告没披露总参数量、专家数这些关键数字,也没说开源权重什么时候放出来。这点先别太激动,等代码和权重落地再判断。