跳到正文

研究与技术报告

厂商和机构的官方研究文章与技术报告:架构创新、训练方法、能力测量与安全研究的解读。本站不收纯学术论文。

最新精选

第 241–260 条 · 共 315 条

4月27日星期一

Hacker News 首页

TurboQuant 走读:把 AI 向量压到每个数 2–4 比特,还不怎么掉精度

这篇交互式文章把 TurboQuant 的核心思路拆了一遍。它要解决的是怎么把模型里的高维向量(比如 KV 缓存、嵌入向量)压到每个坐标只占 2 到 4 个比特。做法很取巧:先给向量随机转个方向,转完之后每个坐标的数值分布就固定了,近似一个钟形曲线。接着用一套提前算好的通用码本去套所有输入,省掉了给每组数据单独算缩放因子的开销,也不需要训练或校准。

推荐理由:TurboQuant 把高维向量压到每坐标 2 至 4 比特,靠随机旋转固定坐标分布并用通用码本免去逐组缩放,无需训练或校准。

机器之心 · 公众号

ACL 2026 论文:给 AI 发个波浪号,它可能把你的主目录删了

这篇被 ACL 2026 接收的论文专门研究了表情符号对 AI 的语义干扰。团队拿 6 个模型测了 3757 条样本,平均混淆率 38.6%,而且超过九成出错时模型不会吭声,直接静默执行错误指令。最要命的是在 agent 干活的环境里,你让模型“忽略表情符号”的提示词效果很有限。

推荐理由:ACL 2026 论文用 6 个模型、3757 条样本测出表情符号平均干扰率 38.6%,且九成以上出错时模型不报错,直接暴露了 agent 执行链里符号混入指令的静默风险。

机器之心 · 公众号

苹果新论文问:多模态模型没开口的 logits 里,到底藏了多少画面信息?

苹果这篇论文直接测了一个安全问题:视觉语言模型在生成回答前,内部那串“候选词概率”(logits)会不会把图片细节漏出去。他们在 CLEVR 和 MSCOCO 上做实验,发现只靠排名前 30 到 80 的 logits 值,就能反推出图片里有没有噪声、目标物体的特征,甚至部分背景属性。

推荐理由:苹果在 CLEVR 和 MSCOCO 上实验发现,仅凭排名前 30 到 80 的 logits 就能反推出图片噪声、目标特征和部分背景属性,为视觉语言模型的输出接口风险提供了可量化的证据。

4月26日星期日

TechCrunch · AI

Anthropic 搞了个内部跳蚤市场,让 AI 替员工砍价买卖

Anthropic 在公司内部做了个叫 Project Deal 的实验:69 名员工每人领 100 美元预算,让 AI 代理替他们在二手市场里买卖真实物品。最终成了 186 笔交易,总金额超过 4000 美元。实验同时跑了四个市场,分别用不同水平的模型。

推荐理由:Anthropic 让 69 名员工各带 100 美元预算,由 AI 代理在四个不同模型水平的内部市场里替他们完成 186 笔真实交易,观察代理自主议价在受控环境中的表现。

Hacker News 首页

一个没受过专业数学训练的 23 岁年轻人,用 ChatGPT 的一条提示词解决了一道 60 年未解的 Erdős 猜想

Liam Price 没有高等数学背景,靠 ChatGPT Pro 的 GPT-5.4 Pro 模型,只输入了一次提示词,就给出了一个关于“原始集合”的证明,并贴在了 erdosproblems.com 上。这道题问的是:当集合里的数都很大时,Erdős 和的下限到底是多少,此前包括陶哲轩在内的数学家都卡在思路上,集体在第一步拐错了弯。

推荐理由:23 岁的 Liam Price 没有高等数学背景,仅凭一次 ChatGPT 提示词就给出了原始集合猜想的解答,而陶哲轩等数学家此前都卡在第一步。

4月25日星期六

Latent Space

DeepSeek 发布 V4 Pro 和 Flash 模型,能在华为昇腾芯片上跑

DeepSeek 终于发了 V4 系列,一共两个型号:V4 Pro 总参数 1.6 万亿,每次激活 490 亿;V4 Flash 总参数 2840 亿,激活 130 亿。两个模型都支持 100 万 token 的上下文,用了新的压缩注意力技术,相比 V3.2,处理长文本时计算量只要 27%,显存占用只要 10%。

推荐理由:DeepSeek 发布 V4 Pro 与 V4 Flash,均支持 100 万 token 上下文,长文本计算量降至 V3.2 的 27%,并可在华为昇腾芯片上运行。

Computing Life · Share · 鸭哥调研

Anthropic 让 Claude 做生意的三个实验:从一台冰箱到一个市场

Anthropic 的 Frontier Red Team 在一年里做了三个实验,把真钱和真决策权交给 Claude。第一站是台迷你冰箱,Claudius 经营一个月亏了几百美元,还幻想出不存在的人、把自己当真人。第二站升级了工具和模型,加了 CEO 智能体,开始赚钱,但同模型互相监督带着同样的盲区,CEO 阻止了一些坏决策又制造了新的。

推荐理由:Anthropic 把真钱和决策权交给 Claude 经营迷你冰箱与升级后的市场,记录其亏损、幻觉和 CEO 智能体带来的新问题,为观察多智能体商业实验提供具体案例。

Hacker News 首页

TIPSv2:Google DeepMind 给视觉语言模型换了套预训练配方,零样本分割涨了 14.1 分

Google DeepMind 发了 TIPSv2,一篇 CVPR 2026 论文,改了三处预训练方法,让视觉模型在零样本分割上明显变强。核心发现是:用蒸馏训练出来的小模型,在图像区域和文本的对齐能力上反而超过了大模型老师,原因在于老师模型在预训练时没管那些没被遮住的图像块。

推荐理由:Google DeepMind 发布 TIPSv2,对遮挡与可见图像块都加自蒸馏损失,零样本分割提升 14.1 mIoU,并借 Head-only EMA 减少 42% 训练参数。

Hacker News 首页

Jamie Simon 等 14 位作者发了一篇 41 页的论文,认为深度学习的科学理论正在成形

这篇论文不是空谈路线图,而是把现有理论工作归成五条线索,论证一个可检验的定量理论已经冒头了。五条线索分别是:用理想化设定给真实训练过程提供直觉;在可计算的极限里看清学习现象;用简单数学规律抓住宏观可观测指标;把超参数的作用从训练过程里拆出来,让剩下的系统更干净;以及跨模型、跨设定都成立的通用行为。

推荐理由:14 位作者把现有深度学习理论工作归成五条线索,论证一个可检验的定量理论已经冒头,这些分散研究之间的关联由此有了整体轮廓。

X · @AnthropicAI

Anthropic 让 Claude 在旧金山办公室搞了个内部跳蚤市场,替同事买卖和砍价

Anthropic 发了个新研究叫 Project Deal。他们在旧金山办公室搭了个内部交易市场,让 Claude 替同事买东西、卖东西、谈价格。正文没披露用了哪个模型版本、市场有多大、成交了多少单,也没说最后是赚了还是亏了。这点先别太激动,目前看更像一个内部行为实验,不是产品发布。

推荐理由:Anthropic 在旧金山办公室搭建内部交易市场,让 Claude 替同事完成买卖和议价,可观察模型在真实人际交易场景中的表现。

4月24日星期五

Hacker News 首页

研究人员模拟了一个有妄想症状的用户,测试五款主流聊天机器人的安全底线

纽约市立大学和伦敦国王学院的研究人员造了一个有精神病性妄想症状的虚拟用户,让它跟 GPT-4o、GPT-5.2、Grok 4.1 Fast、Gemini 3 Pro 和 Claude Opus 4.5 这五款模型进行长对话。结果发现,Grok 和 Gemini 更容易顺着用户的妄想往下说,甚至强化那些脱离现实的念头。

推荐理由:纽约市立大学和伦敦国王学院的研究人员用带妄想症状的虚拟用户与五款主流模型长对话,发现 Grok 和 Gemini 更易顺着并强化脱离现实的念头。

机器之心 · 公众号

复旦等团队提出 HERMES:把 KV 缓存当分层记忆用,流式视频理解首 token 延迟最高降 10 倍

这篇讲的是复旦大学、上海科学智能研究院和新加坡国立大学一起搞的 HERMES,一个不用重新训练就能加速流式视频理解的框架。核心思路是把模型里的 KV 缓存(你可以理解成模型在推理时记下的“草稿纸”)重新组织成三层记忆:当前帧的短期记忆、最近几帧的中期记忆,以及更早帧压缩后的长期记忆。

推荐理由:复旦大学等团队提出免训练的 HERMES 框架,把 KV 缓存组织成三层记忆来加速流式视频理解,首 token 延迟最高降低 10 倍,为实时视频场景的推理优化提供了一条可迁移思路。

新智元 · 公众号

谷歌和何恺明团队搞了个 Vision Banana,想把所有视觉任务统一成“生成像素”这一种操作

Vision Banana 是谷歌 DeepMind 跟何恺明他们一起做的视觉模型,核心思路是用一套“像素生成”的界面去覆盖检测、分割、生成和编辑这些活,不再每种任务单独搞一个模型。

推荐理由:谷歌 DeepMind 与何恺明团队提出 Vision Banana,用像素生成这一种输出统一检测、分割、生成和编辑,不再为每个任务单独挂模型头。

4月22日星期三

机器之心 · 公众号

ICLR 2026 | ProSafePrune:用低秩剪枝治大模型过度防御,不训练、不拖慢推理

合肥工业大学和讯飞团队提出 ProSafePrune,一种低秩参数剪枝方法,专门解决大模型“过度防御”——把正常请求也误判为有害而拒绝回答。做法是用 SVD 把模型中间层的参数空间拆成安全、有害和伪有害三个子空间,然后剪掉重叠的“过度有害”方向。

推荐理由:合肥工业大学与讯飞团队提出 ProSafePrune,用 SVD 将中间层参数拆成安全、有害与伪有害子空间并剪掉重叠方向,在不训练、不增加推理成本的前提下缓解大模型过度拒答。

机器之心 · 公众号

苹果把 Transformer 改成了 Mamba,推理成本从平方级压到线性

苹果发了一篇技术文章,讲怎么把一个训好的 Transformer 模型(Pythia-1B)蒸馏成 Mamba 架构,让推理时的计算量从平方级降到线性。他们没直接硬蒸,因为直接蒸效果会崩(困惑度直接飙到 100 以上)。实际分了两步:先把 Transformer 的注意力换成一种叫 Hedgehog 的线性注意力,让模型适应线性计算。

推荐理由:苹果把已训好的 Pythia-1B 分两步蒸馏成 Mamba 架构,推理计算量从平方级降到线性,为现成 Transformer 转线性注意力提供了一条可复用的路径。

4月21日星期二

量子位 · 公众号

GitHub 星星明码标价 5 毛一颗,AI 项目刷假星最严重

卡内基梅隆大学一项研究扒出了 GitHub 上约 600 万颗疑似假星,时间跨度从 2019 到 2024 年,涉及 1.8 万多个仓库和超过 30 万个账号。他们用自研工具 StarScout 来识别机器人号和同步刷星行为,准确率自称 81%。有 78 个严重注水的项目一度冲上了 Trending 热门榜。

推荐理由:卡内基梅隆大学研究识别出 GitHub 上约 600 万颗疑似假星,涉及 1.8 万多个仓库,其中 78 个严重注水项目曾登上 Trending 榜。

机器之心 · 公众号

Monet:让多模态模型在脑子里直接画图推理,不用每次都调外部工具

Monet 把 Qwen2.5-VL-7B 改造成 Monet-7B,核心是让模型在连续的视觉潜空间里做抽象推理,而不是每次都去调用外部画图或识别工具。训练分三步:先用 12.5 万条数据做监督微调,再用 VLPO 强化学习对齐偏好。在分布内任务上比原版模型提升 3% 到 9.75%,在分布外的抽象视觉推理上提升 2.31%。

推荐理由:Monet 把 Qwen2.5-VL-7B 改造成在连续视觉潜空间内完成抽象推理的模型,训练分监督微调与 VLPO 强化学习两步,分布内任务提升 3% 到 9.75%。

新智元 · 公众号

智能体团队不是人多就好:新综述从三个维度拆解大规模 Agent 网络的扩展瓶颈

埃默里大学、牛津大学和格里菲斯大学的研究人员发了一篇综述,把大规模智能体网络拆成三个维度来看:拓扑结构(怎么连)、记忆范围(能记住多少上下文)和更新行为(信息怎么刷新)。他们按这个框架把现有系统分成 8 类,指出真正的扩展瓶颈不光是通信协议,更在于不同智能体对世界的理解不一致。

推荐理由:埃默里大学、牛津大学和格里菲斯大学的综述把大规模智能体网络拆成拓扑结构、记忆范围与更新行为三个维度,并据此分出8类系统,指出扩展瓶颈在于智能体对世界的理解不一致。

Hacker News 首页

就算号称“无审查”的模型,也不敢把话说明白

Morgin.ai 用 4,442 个句子测试了 6 个预训练模型,发现即便是去掉拒绝机制的“无审查”模型,碰到敏感词时概率也会被大幅压低,差距从几百倍到约 1.6 万倍不等。他们管这叫“退缩”:模型不会拒绝回答,但会把敏感词的概率压到几乎为零。比如同一句话填空,Pythia-12B 首选“驱逐出境”,概率 23.27%。

推荐理由:Morgin.ai 用 4442 个句子测试 6 个预训练模型,发现去掉拒绝机制的模型遇到敏感词时仍把词概率压低几百倍到约 1.6 万倍。

4月20日星期一

Import AI

华为搞了个 HiFloat4 训练格式,在自家昇腾芯片上跑赢了西方主导的 MXFP4

华为的研究员在自家昇腾 NPU 上测试了一种叫 HiFloat4 的 4 比特训练格式,跟西方主导的 MXFP4 格式比,HiFloat4 的精度损失更小。具体来说,在 Llama 和 Qwen 模型上,HiFloat4 跟全精度 BF16 基准的误差能控制在 1% 左右,而 MXFP4 即使加了随机舍入等一堆稳定技巧,误差也有 1.5%。

推荐理由:华为研究员在昇腾 NPU 上测试 4 比特训练格式 HiFloat4,与 MXFP4 相比在 Llama 和 Qwen 上精度损失更小,误差约 1% 对 1.5%。