跳到正文

#DeepSeek

今日 0 条

11月13日星期五

Hacker News 首页

研究发现 DeepSeek、Kimi 等中国模型带有受出口管制的 Blackwell GPU 指纹

Unemployment Labs 在 DeepSeek、月之暗面、MiniMax 和蚂蚁集团的 6 个模型公开权重中发现与 NVIDIA Blackwell GPU 匹配的初始化指纹。

推荐理由:Unemployment Labs 从公开权重恢复初始化硬件指纹,为算力来源调查提供技术路径并明确其对训练硬件和违规认定的边界。

11月8日星期日

Hacker News 首页

MaxxBench 研究检验 DeepSWE 高分能否迁移到修改后的任务

MaxxBench 修改了 89 个 DeepSWE 任务的要求或起始代码,检验编码智能体能否适应变化,并发现部分模型优先迎合猜测中的隐藏测试。

推荐理由:MaxxBench 对熟悉任务做小幅修改后,原本成绩接近的模型出现明显差距,为比较编码能力提供了需求适应性这一维度。

11月7日星期六

11月6日星期五

The Decoder

SemiAnalysis 的 GDPx 工作基准测试中,没有 AI 智能体得分超过 12%

SemiAnalysis 发布模拟知识工作的 GDPx 基准,覆盖 11 个领域的 206 项任务,没有 AI 智能体得分超过 12%。Claude Opus 5.5 以 12% 领先,Gemini 4 Carbon 为 10.9%,每项任务成本为 $16.29,约为前者的三分之一;剔除网络安全、生物学和对齐领域后,GPT-6 Astra 以 11.8% 居首。

11月4日星期三

The Decoder

斯坦福研究发现,大语言模型发展速度超过相关研究结论的有效期

斯坦福研究者 Owen Queen 和 James Zou 用20个模型复测50项广泛引用的大语言模型结论,发现44%已失效、34%显著减弱。22项可估算失效时间的结论平均有效期仅15.7个月,关于模型无法完成哪些任务的结论失效最快,部分迎合行为与偏好则持续存在或增强。同一发布窗口内模型差异仍很大,研究者建议将结论限定于具体模型和时间,记录版本与日期,并公开提示词及分析代码以便复测。

11月1日星期日

The Decoder

Vals研究发现中国AI模型政治倾向复杂,不能简单视为政府传声筒

Vals研究发现,中国AI模型对官方立场的认同程度低于预期且模型间差异明显,提示语言和回答格式也会改变结果。多数受测模型用简体中文回答时比用英语、俄语或西班牙语更倾向政府立场,这种效应在中国模型中更明显;多数中国模型很少拒答,而有时采用官方叙事。测试衡量的是立场认同而非事实准确性,默认将拒答计为中立,且许多中国模型通过第三方服务接受测试,结果不一定适用于官方聊天产品。

10月31日星期六

10月28日星期三

10月17日星期六

Hacker News 首页

Neuralwatt 解读智能体运行框架如何影响能耗与 token 效率

Neuralwatt 分析云端流量与实验请求发现,智能体运行框架修改既有提示词会破坏缓存,增加重复计算与能耗。相同模型、相近输入输出长度下,缓存基本未命中的请求能耗约为缓存命中请求的2倍,GLM-5.3约为2.5倍;上下文超过128k tokens时,一次大范围重读的预填充计算量约相当于600次普通轮次。

推荐理由:Neuralwatt通过逐条请求分析定位缓存失效原因,将稳定提示词前缀、追加状态变更归纳为减少智能体重复计算的方法。

6月6日星期六

机器之心 · 公众号

普林斯顿用 DeepSeek V4 做数学证明,成本只要别人的五百分之一

普林斯顿的研究员搞了一套叫 Goedel-Architect 的智能体系统,专门让模型在 Lean 这种形式化证明语言里自动做数学题。他们拿 DeepSeek-V4-Flash 跑 PutnamBench 数学竞赛题,672 道题里正确率到了 75.6%,API 调用费总共才花了 294 美元。

推荐理由:普林斯顿团队用 Goedel-Architect 系统让 DeepSeek-V4-Flash 在 Lean 里自动做数学题,PutnamBench 672 道题正确率 75.6%,API 调用费共 294 美元。

6月3日星期三

机器之心 · 公众号

大模型 SFT 的算力浪费有救了:同质化数据训练几百步就该停,新方法能提前揪出过拟合

这篇文章正文被微信环境验证挡住了,看不到具体内容。从标题和已有的英文摘要看,Junpeng Zhang 他们发现,用高度同质化的数据做 SFT 时,有效训练窗口其实很短,大概几百到一千步左右。他们搞了一个基于交互信号的预警方法,能在 loss 差距还没拉大之前就检测到过拟合,据称能省下 30% 到 50% 的训练算力。

推荐理由:Junpeng Zhang 等人发现同质化数据做 SFT 的有效训练窗口只有几百到一千步,并提出基于交互信号的预警方法,在 loss 差距拉大前检测过拟合,据称可省下 30% 到 50% 的训练算力。

Computing Life · Share · 鸭哥调研

MAI-Thinking-1:让模型持续思考几千步不崩,比让它开始思考难得多

微软 MAI-Thinking-1 的技术报告没在吹模型多会解题,而是在讲怎么让强化学习训练别崩。他们给 GRPO 算法打了三个补丁:一个像恒温器一样动态调节模型的“自信度”,防止它变得死板或乱猜;一个像断路器,在梯度爆炸时直接截断,保住整批训练数据;还有一套自蒸馏抢救流程,训练万一崩了,能把之前学会的推理能力搬到新模型上继续跑。

推荐理由:微软 MAI-Thinking-1 技术报告讲的是强化学习训练不崩,给 GRPO 打了动态调节自信度、梯度截断和自蒸馏抢救三个补丁,对做推理模型训练的人有方法层面的参考。

6月1日星期一

r/LocalLLaMA

我在一张 RTX 3060 上给冻结的 1.4B Mamba 主干挂了 8 个推理专家臂,这是拆解报告

作者用一张 12GB 显存的 RTX 3060 训练了一个叫 Mamba-Titan-1.4B-Reasoning 的模型。做法是把一个 1.4B 参数的 Mamba-1 主干完全冻结,只在第 24、25 层外挂了 8 个可训练的专家臂,组成一个总参数量 2.54B 的混合专家模型,每次推理只激活其中 2 个专家。数学题准确率大概做到 50%。

推荐理由:作者在单张 RTX 3060 上冻结 1.4B 的 Mamba 主干,只在第 24、25 层外挂 8 个可训练专家臂,把总参数做到 2.54B,每次推理只激活 2 个专家,数学题准确率约 50%。

5月29日星期五

机器之心 · 公众号

马嘉祺让大模型翻车,背后是低频词退化问题,有人一年前洗澡时就发现了

文章页面被微信环境验证挡住了,正文内容没拿到。从现有标题和英文摘要看,讲的是 FaceMind 团队把大模型在“马嘉祺”这类低频词上翻车的现象,和两篇论文串了起来:一篇是 EMNLP 2025 的 SLoW,另一篇是刚被 ACL 2026 接收为 Oral 的 Adam's Law。

推荐理由:FaceMind 团队把大模型在低频词上翻车的现象与 SLoW、Adam's Law 两篇论文串起来,梳理了低频 token 退化的机制解释。

5月15日星期五

r/LocalLLaMA

MOOSE-Star:用 7B 小模型和 10 万篇论文做科学假设发现,ICML 2026 接收

MiroMind 放出了 MOOSE-Star 系列,包含三个 7B 模型和一个叫 TOMATO-Star 的数据集,里面有 108,717 篇 NCBI 论文。

推荐理由:MiroMind 公开 MOOSE-Star 系列三个 7B 模型与含 108,717 篇 NCBI 论文的 TOMATO-Star 数据集,模型权重和数据集均可获取,为科学假设发现方向提供可复用的训练资源。

5月14日星期四

机器之心 · 公众号

阿里达摩院用信息瓶颈做自奖励,让模型做数学题时多试几条不同的路

阿里达摩院发了篇 ACL 2026 论文,提出 I²B-LPO,解决强化学习微调时模型解题思路越来越像的问题。做法是在模型生成答案时,碰到它犹豫不决的节点就分叉出多条路径,再用一个基于信息瓶颈的自奖励机制筛掉重复的、留下真正不一样的解法。

推荐理由:阿里达摩院提出 I²B-LPO,在模型解题犹豫处分支采样,并用信息瓶颈自奖励筛出不同解法,缓解强化学习微调中思路趋同的问题。

5月3日星期日

量子位 · 公众号

DeepSeek V4 技术报告里漏掉了 Engram,一个能明显拉高长文本记忆分数的查表模块

DeepSeek V4 的技术报告列了一堆新组件,但没提 Engram。这个模块是 DeepSeek 和北大在 1 月开源的,做法是在 Transformer 的第 2 到第 15 层之间插入查表模块。在 27B 规模的测试里,它把 MMLU 拉高了 3.4 分,多查询大海捞针准确率干到了 97.0%。

推荐理由:DeepSeek V4 技术报告未收录与北大 1 月开源的 Engram 查表模块,该模块在 27B 规模测试中把 MMLU 拉高 3.4 分,多查询大海捞针准确率达 97.0%。

5月1日星期五

机器之心 · 公众号

强化学习在 LLM 推理训练里的算法演变:从 PPO 到 MaxRL

这篇文章梳理了 2024 到 2026 年,让大模型学会推理的强化学习算法是怎么一步步改的。起点是 PPO,它需要同时跑一个策略模型和一个价值模型,训练成本高。后来的 GRPO、RLOO 这些变体,核心思路是砍掉价值模型,靠同一道题生成多个答案互相比较来算优势,省了显存和算力。

推荐理由:文章梳理了2024到2026年大模型推理强化学习算法的演进脉络,从PPO到GRPO、RLOO再到MaxRL,重点讲清各方案如何通过砍掉价值模型来降低训练成本。

4月30日星期四

r/LocalLLaMA

DeepSeek 放出了“用视觉原语思考”框架,让模型在推理时直接画坐标和框

DeepSeek 和北大、清华一起发了篇论文,还公开了代码库。这个框架的思路是在思维链里插入坐标点和边界框,相当于让模型边想边在图上做标记。帖子本身没贴跑分数据,正文也没披露具体指标,所以效果到底提升多少还不清楚。

推荐理由:DeepSeek 联合北大、清华发布论文并开源代码,把坐标点和边界框作为推理单元插入思维链,为多模态推理提供了一种可迁移的标记式方法。

4月29日星期三

Computing Life · Share · 鸭哥调研

DeepSeek V4 技术解读:为 Agent 长任务做的工程取舍

这篇文章把 DeepSeek V4 的技术报告翻译成了人话,核心就讲一件事:为了让模型能稳定地跑完一个长链条的 Agent 任务(比如改代码、调工具、看日志反复几十轮),V4 在架构上做了哪些又贵又复杂的工程决策。文章拆解了三个主要矛盾。

推荐理由:文章把 DeepSeek V4 技术报告拆解为面向 Agent 长任务的工程取舍,梳理混合注意力等架构决策在长链条任务中的权衡逻辑。

4月25日星期六

Latent Space

DeepSeek 发布 V4 Pro 和 Flash 模型,能在华为昇腾芯片上跑

DeepSeek 终于发了 V4 系列,一共两个型号:V4 Pro 总参数 1.6 万亿,每次激活 490 亿;V4 Flash 总参数 2840 亿,激活 130 亿。两个模型都支持 100 万 token 的上下文,用了新的压缩注意力技术,相比 V3.2,处理长文本时计算量只要 27%,显存占用只要 10%。

推荐理由:DeepSeek 发布 V4 Pro 与 V4 Flash,均支持 100 万 token 上下文,长文本计算量降至 V3.2 的 27%,并可在华为昇腾芯片上运行。