#DeepSeek

今日 0 条

6月6日星期六

机器之心 · 公众号6/6 12:00

普林斯顿用 DeepSeek V4 做数学证明，成本只要别人的五百分之一

普林斯顿的研究员搞了一套叫 Goedel-Architect 的智能体系统，专门让模型在 Lean 这种形式化证明语言里自动做数学题。他们拿 DeepSeek-V4-Flash 跑 PutnamBench 数学竞赛题，672 道题里正确率到了 75.6%，API 调用费总共才花了 294 美元。对比之前 Hilbert 系统用别的模型达到 70.0% ...

推荐理由：普林斯顿团队搞了个叫Goedel-Architect的智能体系统，让DeepSeek-V4-Flash在形式化证明语言Lean里自动做数学题。PutnamBench 672道题正确率75.6%，API调用费总共294美元，对比之前Hilbert系统用别的模型达到70.0%却花了约17万美元，成本差了近500倍。这个对比很直观，数字也扎实，但正文没详细拆解294美元是怎么算出来的，也没说Hilbert那17万是不是包含了大量试错和人工调参。所以“500倍”这个说法可以先打个折看，不过即使有水分，成本优势依然明显。整体还是偏学术研究，离工程落地有距离，...

锐评

这条消息最值得点开的地方是成本：294美元跑完672道PutnamBench数学竞赛题，正确率75.6%，比之前Hilbert系统用别的模型烧掉约17万美元才做到70%正确率，确实省了差不多500倍。系统叫Goedel-Architect，是一个让模型在Lean这种形式化证明语言里自动做题的智能体框架，相当于给模型配了一套在严格数学环境里干活的工作流。

不过现在能看到的只有摘要，原文被微信验证页挡住了，具体怎么设计的智能体、用了什么搜索或验证策略、有没有人工筛选，这些关键细节都看不到。另外，PutnamBench虽然难，但形式化证明和实际数学研究之间还有距离，这个75.6%能迁移到开放问题上的程度还不清楚。

我会先打个折：成本数字确实亮眼，但等看到完整论文再判断这套方法是不是真的普适，还是只在特定题型上省钱。

6月3日星期三

机器之心 · 公众号6/3 15:30

大模型 SFT 的算力浪费有救了：同质化数据训练几百步就该停，新方法能提前揪出过拟合

这篇文章正文被微信环境验证挡住了，看不到具体内容。从标题和已有的英文摘要看，Junpeng Zhang 他们发现，用高度同质化的数据做 SFT 时，有效训练窗口其实很短，大概几百到一千步左右。他们搞了一个基于交互信号的预警方法，能在 loss 差距还没拉大之前就检测到过拟合，据称能省下 30% 到 50% 的训练算力。不过具体怎么检测、实验怎么设计的，...

推荐理由：这篇论文没画大饼，直接给了一个可操作的结论：同质化数据做 SFT，有效训练步数很短，几百到一千步就差不多了。他们还提出一种交互机理预警，能比传统看 loss 更早发现过拟合，实测能省下 30% 到 50% 的算力。对天天在调参、担心过拟合又心疼显卡钱的人来说，这个发现挺实用。不过正文没披露实验用的模型规模和具体数据配比，实际省下来的算力在不同场景下会打多少折扣，还得自己试。

锐评

这条研究想解决一个实际问题：用高度同质化的数据做监督微调（SFT）时，模型其实很快就开始背答案了，有效训练窗口可能只有几百到一千步。他们提出了一种基于交互信号的预警方法，声称能在损失差距还没拉开之前就检测到过拟合，从而省下30%到50%的训练算力。

但正文被微信环境验证挡住了，我看不到具体内容。从已有信息判断，这个发现对做微调的人有参考价值——如果你手里的数据比较单一，确实没必要无脑跑很多轮。不过有几个关键点现在没法确认：实验是在什么规模的模型上做的、交互信号具体怎么定义、预警的误报率有多高。这些直接决定了方法能不能在实际项目里用起来。另外，作者名单里出现了DeepSeek的人，但不确定这是否代表官方立场，还是个人研究。等原文能看了再补细节。

Computing Life · Share · 鸭哥调研6/3 08:00

MAI-Thinking-1：让模型持续思考几千步不崩，比让它开始思考难得多

微软 MAI-Thinking-1 的技术报告没在吹模型多会解题，而是在讲怎么让强化学习训练别崩。他们给 GRPO 算法打了三个补丁：一个像恒温器一样动态调节模型的“自信度”，防止它变得死板或乱猜；一个像断路器，在梯度爆炸时直接截断，保住整批训练数据；还有一套自蒸馏抢救流程，训练万一崩了，能把之前学会的推理能力搬到新模型上继续跑。这三个机制合起来，让模...

推荐理由：标题把卖点从“会思考”转到“持续思考”，一下就把训练崩溃这个真问题拎出来了。三种机制的名字虽然有点包装感，但至少给了具体抓手：恒温器控波动、断路器防崩、自蒸馏保风格。正文没披露具体实验数据和复现条件，所以“几千步不崩”这个数字先打个折看。整体对做推理模型训练的人有参考价值，但离落地验证还差一口气。

锐评

这篇解读把 MAI-Thinking-1 的技术选择讲得很清楚：它的核心贡献不是让模型开始推理，而是让推理训练能持续跑下去。GRPO 算法本身容易走向两个极端，要么输出僵化，要么梯度爆炸直接崩掉。MAI 的解法很工程化——动态调节自信度上限、加一层绝对截断的安全网、崩了之后用自蒸馏把学到的能力抢救回来。这三个机制合在一起，目标是连续几千步训练不滑坡，而不是单次表现有多亮眼。

文章把 DeepSeek V4 和 GLM-5 拉进来对比也很有用。DeepSeek 在死磕计算效率，用压缩注意力把百万 token 上下文的成本打下来；GLM 在解决跨轮次记忆，让模型不用每次都重想一遍。三家解决的是同一个问题的不同侧面：MAI 保稳定，DeepSeek 提效率，GLM 续耐力。这个对比框架比单独吹一家要实在得多。

不过要注意，这篇解读本身是第三方基于公开技术报告写的，不是微软官方口径。报告里提到的自蒸馏需要上百万条推理记录，这个数据收集成本有多高、对算力要求多大，正文没展开。另外，恒温器机制在 800 步训练里看着稳，能不能扛过一万步，报告自己也没给结论。这些缺口让“可持续思考”这个说法还停留在实验室验证阶段，离生产环境有多远不好说。

6月1日星期一

r/LocalLLaMA6/1 10:05

我在一张 RTX 3060 上给冻结的 1.4B Mamba 主干挂了 8 个推理专家臂，这是拆解报告

作者用一张 12GB 显存的 RTX 3060 训练了一个叫 Mamba-Titan-1.4B-Reasoning 的模型。做法是把一个 1.4B 参数的 Mamba-1 主干完全冻结，只在第 24、25 层外挂了 8 个可训练的专家臂，组成一个总参数量 2.54B 的混合专家模型，每次推理只激活其中 2 个专家。数学题准确率大概做到 50%。正文没披...

推荐理由：这是一篇 Reddit 个人实验帖，不是论文，也没有独立复现，所以我会先打个折。但它的价值在于把一次失败解剖写得清楚：在单张 RTX 3060 上，冻结 Mamba 主干、外挂 8 路 MoE 做推理，最后数学准确率卡在 50% 左右。正文没披露训练时长和具体数据集，这点信息有缺口。对想用消费级显卡折腾推理模型的从业者来说，这篇能省掉一次踩坑，属于低门槛、有参考意义的 featured 内容。

锐评

作者在一张12GB显存的RTX 3060上做了个实验：把一个14亿参数的Mamba主干完全冻结，只在第24、25层外挂了8个可训练的专家臂，总参数量膨胀到25.4亿，但每次推理只激活其中2个专家。这样做的目的是在不改动原模型的前提下，用极低成本给模型加上推理能力。数学题正确率大概做到50%，说明路子能跑通，但正文没披露用的是哪个数学测试集，也没跟原版模型或同尺寸模型做对比，所以这个50%到底算好算坏还不好说。

我会先打个折：这更像一次工程可行性验证，证明在消费级显卡上也能玩混合专家架构的推理增强。但文章本身被Reddit的安全策略挡了，我们拿到的只是摘要，训练细节、路由机制的具体表现、专家臂之间怎么分工这些关键信息都看不到。如果后续能放出完整报告和权重，才值得认真评估。

5月29日星期五

机器之心 · 公众号5/29 12:04

马嘉祺让大模型翻车，背后是低频词退化问题，有人一年前洗澡时就发现了

文章页面被微信环境验证挡住了，正文内容没拿到。从现有标题和英文摘要看，讲的是 FaceMind 团队把大模型在“马嘉祺”这类低频词上翻车的现象，和两篇论文串了起来：一篇是 EMNLP 2025 的 SLoW，另一篇是刚被 ACL 2026 接收为 Oral 的 Adam's Law。摘要里还提到一个具体数字——用高频词改写的方法，把 DeepSeek-...

推荐理由：这篇文章把马嘉祺让大模型翻车这个意外事件，和低频 token 退化这个技术问题绑在一起讲，切入点很巧。它不光讲现象，还给出了两篇顶会论文的机制解释，以及 DeepSeek-V3 上 8 个百分点的准确率提升，对做模型评测和提示工程的人有直接参考价值。不是大模型发布那种重磅消息，但属于扎实的研究信号，值得放进精选。

锐评

这条新闻的核心发现挺反直觉：大模型不是不懂数学，而是被“马嘉祺”这种不常见的词带偏了。FaceMind 团队把这个问题和两篇顶会论文串了起来——EMNLP 2025 的 SLoW 和刚被 ACL 2026 接收为 Oral 的 Adam's Law，说明学术界已经在认真对待低频词导致的性能退化。给出的数字很直接：用高频词改写后，DeepSeek-V3 数学准确率从 63.55% 跳到 71.54%，涨了将近 8 个点，这个提升幅度不小，说明问题出在 token 层面而非推理能力本身。

但这里要打个折：文章页面被微信环境验证挡住了，正文内容没拿到。摘要里提到的“高频词改写”具体怎么操作、在哪些任务上有效、有没有引入新的偏差，这些关键细节都看不到。另外，Adam's Law 作为 Oral 论文，它的核心主张是什么、和 SLoW 是什么关系，目前也只能靠猜。

对从业者来说，这条线索值得追——如果你的模型在特定领域词或冷门实体上表现不稳定，可能不是数据不够，而是 tokenization 阶段就埋了坑。建议直接去找两篇原论文看，别只靠这篇被墙的推送。

5月15日星期五

r/LocalLLaMA5/15 01:33

MOOSE-Star：用 7B 小模型和 10 万篇论文做科学假设发现，ICML 2026 接收

MiroMind 放出了 MOOSE-Star 系列，包含三个 7B 模型和一个叫 TOMATO-Star 的数据集，里面有 108,717 篇 NCBI 论文。其中 MS-IR-7B 在“灵感检索”任务上准确率到了 54.37%，底子是 DeepSeek-R1-Distill-Qwen-7B，fp16 跑起来大概占 14GB 显存，支持 llama....

推荐理由：我会先打个折：正文没披露 54.37% 这个准确率是在什么基准上测的、对比了哪些方法，所以这个数字先别太激动。但整套东西的钩子很实在——用 7B 小模型加 10.8 万篇 NCBI 论文搭一个科学假设发现的流程，fp16 才 14GB，本地就能跑。对想做科研 RAG 或让模型进文献分析流程的团队来说，这是个现成的起点，数据集和模型权重都公开了。

锐评

MiroMind 放出的 MOOSE-Star 是个专门从论文里挖科研灵感的模型，7B 参数，底子是 DeepSeek-R1-Distill-Qwen-7B。它带着一个叫 TOMATO-Star 的数据集，里面有 108,717 篇 NCBI 论文。其中 MS-IR-7B 这个版本在“灵感检索”任务上拿到了 54.37% 的准确率。

这个准确率不算高，但考虑到模型只有 7B，fp16 跑起来大概占 14GB 显存，还支持 llama.cpp、vLLM 和 SGLang，本地部署门槛很低。论文被 ICML 2026 接收，方法上应该有些新东西，但正文没披露具体是怎么训练和评估的，也没说这个准确率在同类任务里算什么水平。

我会先打个折：54% 的准确率意味着将近一半的检索结果可能不相关，实际用起来还得人工筛选。另外，数据集只覆盖 NCBI 论文，跨领域效果未知。如果是真的能在单卡上跑通科研灵感挖掘的流程，这个方向挺有意思，但离“好用”还有距离。

5月14日星期四

机器之心 · 公众号5/14 12:10

阿里达摩院用信息瓶颈做自奖励，让模型做数学题时多试几条不同的路

阿里达摩院发了篇 ACL 2026 论文，提出 I²B-LPO，解决强化学习微调时模型解题思路越来越像的问题。做法是在模型生成答案时，碰到它犹豫不决的节点就分叉出多条路径，再用一个基于信息瓶颈的自奖励机制筛掉重复的、留下真正不一样的解法。论文在 Qwen2.5-7B 和 Qwen3-14B 上跑数学题，准确率最多提了 5.3%，答案的语义多样性提了 7...

推荐理由：我会先打个折：这还是一篇训练方法论文，不是新模型或产品发布，所以重要性给 78 合理。亮点在于它把 RLVR 的探索问题讲得很具体——不是泛泛说“多样性不足”，而是用高熵节点定位、分支采样、自奖励这套组合拳给出可操作的解法。数字也实在，准确率和多样性双涨，没有只挑好看的说。正文没披露训练成本和延迟数据，这点先别太激动。整体适合推荐给做推理微调的人看，不是那种看完就忘的刷榜文章。

锐评

这篇论文的核心思路挺直接：用强化学习微调模型做推理时，模型容易陷入“只会一种解法”的困境，生成一堆看起来不同但思路雷同的答案。达摩院的方案是在模型生成过程中，碰到它犹豫不决的节点就主动分叉出多条路径，再用一个基于信息瓶颈的自奖励机制筛掉重复的，留下真正不一样的解法。在 Qwen2.5-7B 和 Qwen3-14B 上跑数学题，准确率最多提了 5.3%，答案的语义多样性提了 7.4%。

不过要冷静看几个点。第一，正文因为微信环境验证问题没完全加载，具体的实验设置、基准测试名称、对比基线都没披露，5.3% 这个数字是在什么条件下拿到的说不清楚。第二，分叉加筛选会增加推理时的计算开销，论文有没有给出延迟或成本数据，目前看不到。第三，这个方法在非数学推理任务上效果如何，也没提。如果后续能补上这些信息，判断会更踏实。

5月3日星期日

量子位 · 公众号5/3 11:16

DeepSeek V4 技术报告里漏掉了 Engram，一个能明显拉高长文本记忆分数的查表模块

DeepSeek V4 的技术报告列了一堆新组件，但没提 Engram。这个模块是 DeepSeek 和北大在 1 月开源的，做法是在 Transformer 的第 2 到第 15 层之间插入查表模块。在 27B 规模的测试里，它把 MMLU 拉高了 3.4 分，多查询大海捞针准确率干到了 97.0%。工程上还有个信号：8 台服务器通过 CXL 共享 ...

推荐理由：文章不是 V4 发布本身，而是技术报告缺了 Engram 这件事的分析。有层数范围、基准涨点和内存池损耗数据，信息密度够，但属于评论向，不是一手发布，所以重要性在 78-84 区间合理。

锐评

DeepSeek V4 技术报告列了一堆新组件，唯独没提 Engram。这个模块是 DeepSeek 和北大 1 月开源的，做法是在 Transformer 第 2 到第 15 层之间插入查表模块，相当于给模型加了个快速翻资料的捷径。在 27B 规模的测试里，它把 MMLU 分数拉高了 3.4 分，多查询大海捞针准确率干到 97.0%，效果不算小。

工程上还有个信号：8 台服务器通过 CXL 共享 4TB 内存池，吞吐损失不到 5%。这说明 Engram 不是纯学术玩具，已经考虑了实际部署成本。但正文没披露 V4 为什么不用它——是效果在更大规模上衰减了，还是跟其他新组件冲突，或者单纯没来得及整合，这些都没说。

我会先打个折：Engram 的测试只在 27B 上跑过，V4 的规模大得多，直接假设它能平移过去不现实。另外多查询大海捞针这种任务偏检索，跟真实应用场景还有距离。这点先别太激动，等 DeepSeek 自己出来解释缺位原因再说。

5月1日星期五

机器之心 · 公众号5/1 13:01

强化学习在 LLM 推理训练里的算法演变：从 PPO 到 MaxRL

这篇文章梳理了 2024 到 2026 年，让大模型学会推理的强化学习算法是怎么一步步改的。起点是 PPO，它需要同时跑一个策略模型和一个价值模型，训练成本高。后来的 GRPO、RLOO 这些变体，核心思路是砍掉价值模型，靠同一道题生成多个答案互相比较来算优势，省了显存和算力。再往后，DAPO、CISPO、MaxRL 等新方法在 GRPO 的基础上修修...

推荐理由：这篇不是新模型发布，而是一篇技术梳理，把2024到2026年推理RL算法的关键机制差异讲得很透。我会先打个折：它没有新实验数据，纯靠已有论文做对比，但胜在把PPO到MaxRL的取舍逻辑串起来了，对正在选RL路线的团队有实际参考价值。

锐评

这篇原文实际没抓到，微信页面只返回了“环境异常，完成验证后即可继续访问”，所以下面所有判断都基于机器之心给的摘要，不是原文。摘要说文章梳理了 2024 到 2026 年让大模型学会推理的强化学习算法演进，从 PPO 一路讲到 GRPO、RLOO、DAPO、MaxRL 等变体。核心变化是砍掉价值模型，靠同一道题生成多个答案互相比较来算优势，省显存和算力。这个方向确实是大趋势，但摘要没给出任何具体数字——省了多少显存、训练速度提升多少、在哪个基准上验证过，全都没提。另外，这些新方法之间的对比条件是否公平、实验规模多大、有没有开源复现，摘要也没交代。如果只看算法名字和思路，容易高估实际效果。建议等原文能正常访问后，重点看实验设置和消融实验，别光看算法流程图就下结论。

4月30日星期四

r/LocalLLaMA4/30 21:43

DeepSeek 放出了“用视觉原语思考”框架，让模型在推理时直接画坐标和框

DeepSeek 和北大、清华一起发了篇论文，还公开了代码库。这个框架的思路是在思维链里插入坐标点和边界框，相当于让模型边想边在图上做标记。帖子本身没贴跑分数据，正文也没披露具体指标，所以效果到底提升多少还不清楚。

推荐理由：我会先打个折，因为正文没披露任何 benchmark 分数，效果到底怎么样还不清楚。但亮点很实在：它让模型在推理时能指着图像说“看这里”，把坐标点和边界框当成思考的最小单元，这比纯文字描述直观得多。代码已经开源，对做多模态推理和可解释性的从业者来说，是个值得上手试的方向。没给分数就先别太激动，但思路本身够新，所以给到 80 分。

锐评

这篇论文的核心想法不复杂：以前多模态模型看图说话，要么直接出文字，要么在后台偷偷算位置。DeepSeek 这次把“在图上做标记”这件事直接塞进了思维链里，让模型边想边标出坐标点和边界框，相当于把视觉推理过程摊开给人看。合作方包括北大和清华，代码也开源了，这点值得肯定。

但 Reddit 帖子本身被屏蔽了，正文没披露任何基准测试的分数。没有准确率、没有对比基线，我们完全不知道这套方法在具体任务上能提升多少，也不知道计算开销会增加多少。我会先打个折：思路有意思，但效果还是个问号。

还缺什么？需要看到在文档理解、图表问答这类实际任务上的量化结果，以及推理延迟和显存占用的数据。另外，这种显式坐标标注对模糊、遮挡图片的鲁棒性如何，论文里也没提。

4月29日星期三

Computing Life · Share · 鸭哥调研4/29 08:00

DeepSeek V4 技术解读：为 Agent 长任务做的工程取舍

这篇文章把 DeepSeek V4 的技术报告翻译成了人话，核心就讲一件事：为了让模型能稳定地跑完一个长链条的 Agent 任务（比如改代码、调工具、看日志反复几十轮），V4 在架构上做了哪些又贵又复杂的工程决策。文章拆解了三个主要矛盾。第一，百万级上下文不是光能装下就行，Agent 得随时回看历史里的报错和工具结果，V4 的做法是把注意力机制分成三层...

推荐理由：我会先打个折：正文没给参数量、训练数据、价格和发布时间，所以没法判断它到底多能打，只能当技术方向看。但 DeepSeek V4 把 100 万 token 上下文和 agent 负载绑在一起讲，还给了混合注意力、OPD 这些具体手段，对做 agent 落地的人有参考价值。信息缺口明显，所以重要性停在 78，不往上拔。

锐评

这篇文章的价值在于把 V4 的工程决策逻辑讲透了，而不是罗列技术名词。它点出了 V4 面对的核心矛盾：百万级上下文不是能装下就行，Agent 得反复回看历史里的报错和工具结果。V4 的解法是把注意力拆成三层——远处看压缩地图、相关块按索引细查、近处保留完整窗口。这个方案让推理计算量降到 V3.2 的 27%，但代价是把复杂度转移到了缓存和推理系统上，需要同时管理多种 KV 缓存。

另一个有意思的点是 OPD（在策略蒸馏）。文章解释得很清楚：不同任务训练出的专家模型参数已经被拉向不同方向，直接做权重平均容易两边都做不好。V4 选择让 student 模型在自己实际生成的轨迹上，接收 teacher 在整个词表上的完整概率分布作为指导信号。这比用固定数据集蒸馏成本高，但能减少 Agent 任务里一步错步步错的分布偏移。

不过要打个折：这篇文章是 DeepSeek 自己的模型生成的，天然会偏向解释而非质疑。正文完全没有披露模型参数量、训练数据构成、定价和具体发布时间，这些才是判断实际可用性的关键。另外，三层注意力在真实长链条任务里的召回率到底损失多少，文章也没给具体数字。

4月25日星期六

Latent Space4/25 13:00

DeepSeek 发布 V4 Pro 和 Flash 模型，能在华为昇腾芯片上跑

DeepSeek 终于发了 V4 系列，一共两个型号：V4 Pro 总参数 1.6 万亿，每次激活 490 亿；V4 Flash 总参数 2840 亿，激活 130 亿。两个模型都支持 100 万 token 的上下文，用了新的压缩注意力技术，相比 V3.2，处理长文本时计算量只要 27%，显存占用只要 10%。这次比较特别的是同时发了基础版和指令版，...

推荐理由：这条必须写。DeepSeek 这次放出的不只是模型，而是把华为昇腾兼容性摆上台面，等于在 CUDA 依赖上划了一刀。技术报告说 1M token 下只用 V3.2 27% 的算力、10% 的 KV 缓存，省得挺实在。两档参数和 MIT 许可也让落地门槛更低。我会先打个折：正文没提实际推理延迟和昇腾上的吞吐数据，这点先别太激动，但硬件独立性本身已经够重。