训练侧的门道：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
Richard Sutton 团队给流式强化学习（就是来一条数据学一次、不存回放池的那种）开了个新方子，叫“意图更新”。核心思路很直白：先定好这次更新想让模型输出变多少，再反推学习率该设多大，用的还是 1967 年 Kalman 滤波里的一个公式。在 MuJoCo 机器人控制任务上，他们用纯流式、batch size 为 1 的训练方式，让 Inten...
推荐理由：我会先打个折：这篇是研究发布，不是产品级大新闻，所以分数不会冲太高。但 Sutton 的署名加上 Intentional Updates 在极端在线条件下的实验结果，确实给流式 RL 提供了一个很省算力的新思路。1/140 的 FLOPs 对比很直观，batch=1、无回放这些条件也贴近真实部署，对 RL 圈子来说信息量够硬。整体判断是强研究信号，但市场影响力有限，放在 78–84 这个区间合理。
华东师大和复旦的研究者发现，现在大模型训练时只盯着“下一个词”来猜，容易让模型变得自信但目光短浅。他们提出 Next-ToBE，训练时给模型一个“软目标”，让它同时参考未来几个词的信息，但推理时不用改，还是正常的逐词生成。在 Qwen2.5-Math-1.5B、Qwen2.5-Math-7B 和 Llama3.1-8B-Instruct 上跑了 36 ...
推荐理由：这篇论文的卖点很清晰：不碰模型结构，只把训练时“猜下一个词”的目标换成“看未来一小段窗口的软目标”，就在36组实验里赢了35组。我会先打个折——正文没披露用了多大的模型、什么规模的数据，也没给复现细节或生产环境的验证，所以目前只能当学术信号看。如果是真的，这种改目标不改架构的思路确实省钱，但别急着把它当成下一个训练范式。
RadixArk 在 5 月 5 号宣布拿了 1 亿美元种子轮，投后估值 4 亿美元。领投的是 Accel，Spark Capital 跟投，更少见的是英伟达、AMD、英特尔这三家芯片厂同时出现在投资人名单里，联发科和 Databricks 也参与了。正文因为微信环境验证没抓到具体内容，没法展开说他们到底做什么、钱怎么花，但光看这个阵容，大概率是跟 A...
推荐理由：这条消息的硬核在于钱和站队：1亿美元种子轮、4亿美元投后估值，英伟达、AMD、英特尔三家芯片厂同时出现在投资人名单里，这在AI基础设施赛道不常见。我会先打个折——正文没披露产品性能基准、客户验证或开源项目的实际采用数据，所以目前只能当一笔高关注度的融资来看。对从业者来说，看点不是金额本身，而是三家互相竞争的芯片厂为什么愿意一起押注推理优化，这背后可能指向算力成本、模型部署效率的痛点。信息缺口也很明显：没写团队背景、技术路线和落地案例，后续如果有产品实测或客户名单，价值会更高。
SGLang 的团队新成立了一家公司叫 RadixArk，5 月 5 号宣布完成 1 亿美元种子轮融资，投后估值 4 亿美元。SGLang 是一个开源的模型推理框架，目前在 GitHub 上有超过 2.7 万颗星，部署的 GPU 超过 40 万张。不过，这篇微信文章因为环境异常被屏蔽了，正文内容没拿到，所以具体的产品方向、团队背景和这笔钱怎么花，暂时都...
推荐理由：这条消息的看点在于钱和团队背景。1 亿美元种子轮在 AI infra 领域不多见，而且 SGLang 本身有 2.7 万星和 40 万张 GPU 的部署量，不是凭空画饼。不过正文对 RadixArk 具体要做什么产品、跟现有 SGLang 项目怎么分工，讲得比较模糊，更像融资公告加路线图预告。我会先打个折，把它放在 featured 里但不到更高档，因为目前还缺产品细节和客户验证。
Ai2 研究员 Nathan Lambert 在 36 小时内密集拜访了智谱、月之暗面、清华、美团、小米和零一万物。他观察到中国 AI 实验室普遍紧盯字节跳动的动向，同时对 DeepSeek 的技术实力和开源做法表示尊重。学生深度参与核心工作、开源习惯以及技术栈的自主掌控，是中美 AI 生态的几个明显差异。
推荐理由：这篇不是模型发布或大厂合作，属于一手见闻加行业判断，信息密度高但偏观察性质。我会先打个折，放在featured而不是p1。正文没给出具体数据验证，但研究员身份和走访名单让可信度不低，值得从业者花几分钟读。
Anthropic 提出在预训练和对齐微调之间加一个叫 MSM 的训练阶段。他们在 Qwen2.5-32B 和 Qwen3-32B 上做了测试，模型乱说话的比例分别从 68% 和 54% 降到了 5% 和 7%。核心点是 MSM 是补强对齐微调，而不是替代它。
推荐理由：我会先打个折：这不是新模型发布，而是训练方法研究，所以 82 分刚好。Anthropic 用 Qwen 做实验，把 MSM 放在预训练后、对齐微调前，相当于在模型学完通用知识之后、正式教它守规矩之前，先塞一批规范文档让它读。Qwen2.5-32B 的失准率从 68% 掉到 5%，Qwen3-32B 从 54% 掉到 7%，数字说明效果明显。真正值得盯的是 MSM 和 AFT 互补，不是替代关系——这点先别太激动，正文没披露更多消融实验细节。整体是扎实的安全研究，对做对齐的从业者有参考价值。
五家主要出版集团把 Meta 和扎克伯格告了，理由是 Meta 在训练 Llama 系列模型时，未经授权就用了他们受版权保护的作品。目前这篇 FT 报道正文被付费墙挡住，只显示了标题和摘要片段，所以具体涉及多少本书、索赔金额、在哪个法院起诉、以及 Meta 到底是通过什么方式把这些书喂给模型的，这些关键信息正文都没披露。
推荐理由：这条消息我会先打个折——正文只是 RSS 摘要，没披露涉案作品数量、索赔金额、具体法院和训练数据怎么被抓包的机制，信息缺口不小。但五家出版集团联手告 Meta 和 Zuckerberg，矛头直指 Llama 的训练语料，这事本身够硬。对做模型的人来说，训练数据到底能不能用、用了要付多少钱、会不会被告，是每天都在算的账。这点先别太激动，等起诉书细节出来再看授权边界怎么划，但眼下值得放进必读。
一个叫 Suspicious_Gap1121 的 Reddit 用户放出了 Quadtrix.cpp，一个用 C++17 从零写的 GPT 风格模型，总共 83 万参数。模型结构是 4 层、4 个注意力头、宽度 200 维，一次能看 128 个字符的上下文。他在单核 CPU 上拿 3140 万个字符训练了 76.2 分钟，验证损失降到 1.6371 n...
推荐理由：我会先打个折：这就是个个人练手项目，0.83M 参数离实用还远，别拿它跟正经模型比性能。但它的看点不在规模，而在把整个训练管线——LayerNorm、attention、Q/K/V、dropout、AdamW——全部手写反传，不用自动微分，不用 BLAS 加速，单核 CPU 跑通。正文没披露生成效果，也没给权重文件，所以只能当教学级实现来看。对 AI 从业者来说，这东西像一份可运行的底层教案，把平时被框架藏起来的细节全摊开了。
马斯克在法庭上说自己当年被忽悠了，给 OpenAI 捐了 3800 万美元，结果现在变成一家估值 8000 亿美元的公司。他要求法院把奥特曼和布罗克曼踢出管理层，并撤销 OpenAI 的营利性重组。最劲爆的细节是，马斯克当庭承认自己的 AI 公司 xAI 会拿 OpenAI 的模型来训练自家聊天机器人 Grok——也就是用大模型的输出当教材去教小模型，...
推荐理由：我会先打个折：审判才第一周，还没有判决，所以别当定论看。但信息量已经不小。马斯克说自己被忽悠了，投了 3800 万美元，现在要求法院把 Sam Altman 和 Greg Brockman 踢出局，还要撤销 OpenAI 营利子公司的重组。真正让从业者耳朵竖起来的是 xAI 当庭承认“部分”蒸馏了 OpenAI 的模型——用大模型的输出训练自己的小模型。OpenAI 之前因为类似操作指控过 DeepSeek，现在轮到自家投资人旗下的公司做同样的事，这就把蒸馏到底算不算抄袭、边界在哪的问题直接摆上台面了。正文没披露蒸馏的具体比例和用在哪些模型上，这点...
这篇文章梳理了 2024 到 2026 年，让大模型学会推理的强化学习算法是怎么一步步改的。起点是 PPO，它需要同时跑一个策略模型和一个价值模型，训练成本高。后来的 GRPO、RLOO 这些变体，核心思路是砍掉价值模型，靠同一道题生成多个答案互相比较来算优势，省了显存和算力。再往后，DAPO、CISPO、MaxRL 等新方法在 GRPO 的基础上修修...
推荐理由：这篇不是新模型发布，而是一篇技术梳理，把2024到2026年推理RL算法的关键机制差异讲得很透。我会先打个折：它没有新实验数据，纯靠已有论文做对比，但胜在把PPO到MaxRL的取舍逻辑串起来了，对正在选RL路线的团队有实际参考价值。
马斯克在加州联邦法院作证时，承认 xAI“部分”使用了 OpenAI 的模型来改进自家聊天机器人 Grok。用的方法是模型蒸馏，也就是让一个更聪明的大模型当老师，把知识“教”给一个更小、更省钱的模型。不过报道没说他具体用了 OpenAI 的哪个模型、喂了多少数据、跑了多少次训练。这点先别太激动，正文没披露细节，没法判断这到底是一次常规操作还是越界行为。
推荐理由：HKR 三项全中：马斯克法庭自曝用 OpenAI 模型训 Grok，机制是蒸馏，但模型名、规模、轮次都缺，信息有硬缺口，所以重要性停在 84 而不是更高。
马斯克在加州联邦法院作证时，被问到 xAI 是否用 OpenAI 的模型来训练 Grok，他回答“部分是”。这种技术叫“蒸馏”，就是拿大模型的对话结果当教材去教小模型。正文没披露具体用了哪些模型、蒸馏了多少数据、以及这种做法对 Grok 性能的实际影响。
推荐理由：我会先打个折：正文只给了“蒸馏”这个关键词，没展开训练规模、模型版本和诉讼背景，所以信息缺口不小。但 Musk 的证词本身就是一个新信号，把 xAI、Grok 和 OpenAI 的蒸馏嫌疑绑在了一起。对从业者来说，重点不是八卦，而是蒸馏证据链会不会被法庭或社区进一步扒出来——如果是真的挺省钱，但合规风险也摆在那。这点先别太激动，等更多细节浮出来再调判断。
Goodfire 推出了一款叫 Silico 的工具，让工程师可以在训练过程中直接查看和调整模型的参数，也就是决定模型行为的那些“旋钮”。它能把模型里的神经元和通路画成地图，比如他们在 Qwen 3 里发现一个神经元，激活后模型回答会变成电车难题式的道德困境。Silico 用智能体自动完成了大量原本需要人工做的可解释性工作，目标是让模型开发少点炼丹味，...
推荐理由：HKR 三项都成立：Silico 给出了一个可操作的机械可解释性调试手段。分数停在 76，因为目前只是一家创业公司的产品预览，正文没披露定价，也没有任何实际部署规模或客户数量的数据，所以我会先打个折，不往更高里推。
罗剑岚团队和智元机器人搞了个新训练框架 LWD，已经在 16 台 Agibot G1 真机上跑过验证。LWD Online 在 8 个任务上平均成功率 0.95，长流程任务也能到 0.91。它的核心思路是把失败轨迹当训练数据用——他们攒了 652.5 小时的机器人操作数据，里面失败样本占了 34.8%，然后用离线转在线的强化学习方式让模型从这些翻车经验...
推荐理由：HKR三项都站得住：真机规模、任务数和成功率给了硬数字，失败轨迹占比这个数据点对同行有参考价值。不过具身智能的受众比基础模型窄，所以重要性定在78，不上头条。
OpenAI 发公告说，GPT-5.5 老把“哥布林”挂嘴边，是因为训练时给“书呆子”人设的回复打了高分，这个偏好通过强化学习和后续训练扩散开了。GPT-5.1 之后，ChatGPT 用“哥布林”的频率涨了 175%；书呆子风格的回复只占总回复的 2.5%，却贡献了 66.7% 的“哥布林”出现次数。核心问题是奖励信号有偏差，在强化学习的采样和生成、以...
推荐理由：我会先打个折，这不是什么重大能力发布，但 OpenAI 自己复盘模型行为偏差的料很实在。核心就一件事：他们给模型加了“书呆子”人格的奖励信号，结果这信号通过 RL、rollouts 和 SFT 扩散到完全无关的场景，让 GPT-5.5 动不动就 cue 哥布林。数字摆在那——175% 的用量飙升，2.5% 的回复源头——说明偏差放大效应有多猛。对做对齐和微调的人来说，这是个活生生的警告：奖励函数里一个看似无害的偏好，最后能在产品里闹出笑话。正文没展开他们具体怎么修的，但光这个诊断过程就值得从业者盯一眼。
华为泰勒实验室、北大和上海财大在 ACL 2026 发了一篇论文，提出 SHAPE 方法，核心思路是给模型的长篇推理加一道“推理税”。具体做法是：先用熵值把推理过程切成段，再用短距离试探估算每段的潜力，然后对后期又长又没带来实质进展的段落做动态长度打折，最后把奖励分配到每个 token 上。结果平均准确率涨了约 3%，同时 token 用量砍了约 30...
推荐理由：这篇论文最抓人的地方不是那 3% 的准确率提升，而是它把“模型靠啰嗦刷分”这件事直接拎出来收税。SHAPE 用熵值把推理过程切成段，拿短 rollout 估算每段的“势能”，高势能的后期长段落会被长度折扣重罚，逼着模型别在确认步骤上浪费 token。结果就是数学题答得更准，输出还短了约三成。我会先打个折：正文没披露这 30% 的 token 节省是在哪些模型和数据集上测的，也没说短 rollout 本身的计算开销有多大，所以实际部署省不省钱还得看具体场景。但思路本身很直接，把推理效率问题从“事后裁剪”挪到了“训练时就定价”，对做推理优化的团队来说是...
联影智能放出了 uAI-NEXUS-MedVLM，一个专门让大模型理解超声、内窥镜这类医疗视频的开源方案，配套论文中了 CVPR 2026。他们同时发布了一个叫 MedVidBench 的评测集，包含 53.2 万条视频-指令对，覆盖 8 种医疗视频来源和 8 类任务。团队拿 Qwen2.5-VL-7B 在这个数据集上做监督微调，在核心指标 CVS 上...
推荐理由：HKR 三项都站得住：真实医疗视频加首个开源方案自带话题性，53 万条数据和 89.4% 对 16.4% 的结果提供了硬信息，也切中了通用模型在专业领域拉胯、开源方案抢位的行业情绪。医疗场景的垂直属性让分数落在 78–84 区间，82 分合理。
小米这次放出的 MiMo-V2.5 系列模型用了 MIT 开源协议，你可以直接拿来商用、做二次训练和微调，不用再额外申请授权。正文没披露模型参数量和跑分成绩，这点先别太激动。同时他们还搞了个 Orbit 100T Token 计划，分两块：一块是给 AI builder 的激励，申请通过最高能拿到 16 亿 Credits，价值 659 元；另一块是给...
推荐理由：这条消息对 AI builder 有实际价值：MIT 协议意味着可以放心商用和微调，Orbit 计划给的 Credits 额度不小，659 元的标价也算低。但我会先打个折——正文完全没提模型参数量、性能跑分，连基础尺寸都不知道，没法判断模型本身强不强。这点先别太激动，等评测出来再看。整体属于有料但缺关键验证，放在 featured 合适。
SGLang 和 Miles 团队在 DeepSeek-V4 发布当天就完成了推理和强化学习训练的适配，覆盖了 1.6T 参数的 Pro 版和 284B 参数的 Flash 版。V4 模型用了混合稀疏注意力，把滑动窗口和两种 KV 压缩（4:1 或 128:1）混在一起，撑住了 100 万 token 的上下文窗口，专家权重还用了 FP4 精度。系统上...
推荐理由：我会先打个折：这篇不是给所有人看的，系统细节多，普通读者容易走神。但它的钩子够硬——V4 发布当天就有推理加验证 RL 的工程栈，而且把上下文长度、压缩比、注意力窗口这些直接影响成本和稳定性的数字都摊开了。ShadowRadix 那部分虽然正文没展开实现细节，但点出了多池一致性这个真正难啃的骨头，对做部署和调优的人比单纯跑分更有参考价值。
ServiceNow 在 Hugging Face 上发了 SuperApriel-15B-Instruct，一个 15B 参数的指令模型。它最特别的地方是用了“超级网络”设计：48 层解码器里，每层都塞了 4 种不同的注意力机制（全注意力、滑动窗口、Gated DeltaNet、Kimi Delta Attention），运行时可以像换挡一样选不同组...
推荐理由：一个 15B 模型靠单一检查点覆盖 8 档推理速度，吞吐跨度超过 10 倍，对实际部署的吸引力很强，H 和 K 都站得住。R 来自它把成本-延迟-质量的权衡做成可调开关，而不是让你换模型。不过这只是推理优化方向的发布，不是前沿实验室的旗舰更新，影响范围偏窄，所以 76 分、featured 合理。