MOOSE-Star:用 7B 小模型和 10 万篇论文做科学假设发现,ICML 2026 接收
MiroMind 放出了 MOOSE-Star 系列,包含三个 7B 模型和一个叫 TOMATO-Star 的数据集,里面有 108,717 篇 NCBI 论文。
推荐理由:MiroMind 公开 MOOSE-Star 系列三个 7B 模型与含 108,717 篇 NCBI 论文的 TOMATO-Star 数据集,模型权重和数据集均可获取,为科学假设发现方向提供可复用的训练资源。
MiroMind 放出了 MOOSE-Star 系列,包含三个 7B 模型和一个叫 TOMATO-Star 的数据集,里面有 108,717 篇 NCBI 论文。
推荐理由:MiroMind 公开 MOOSE-Star 系列三个 7B 模型与含 108,717 篇 NCBI 论文的 TOMATO-Star 数据集,模型权重和数据集均可获取,为科学假设发现方向提供可复用的训练资源。
HuggingFace 之前开源了一个叫 ml-intern 的自动化 AI 研究员,现在社区有人把它接上了 llama.cpp 和 ollama,让整个流程能在本地跑。帖子说用 Qwen3.6-35B-A3B 这个模型就能当大脑,指挥 CPU/GPU 沙箱和 HuggingFace Hub 上的任务,从头到尾完成一次 SFT(有监督微调)。
推荐理由:社区把 HuggingFace 的 ml-intern 接上 llama.cpp 和 ollama,用 Qwen3.6-35B-A3B 在本地指挥沙箱与 Hub 任务跑完一次 SFT,为想在自有机器上搭建自动化微调流程的人提供了一条可迁移路径。
田渊栋和另外七位 AI 研究员一起创立了 Recursive Superintelligence,团队目前 25 人,拿了 6.5 亿美元融资,估值冲到 46.5 亿美元。他们想干的事是把模型评估、数据筛选、训练、后训练甚至研究方向选择这些环节全交给 AI 自己跑,让整个研发流程自动化。
推荐理由:田渊栋与七位研究员创立 Recursive Superintelligence,团队 25 人获 6.5 亿美元融资,估值 46.5 亿美元,方向是把评估、数据筛选、训练到选题的研发流程交给 AI 自行运转。
这篇微信文章标题说灵初智能(PsiBot)用了10万小时的人类操作数据来训练机器人策略,还提到一个叫W0的世界模型只在训练时做迁移,实际部署只跑R2。但页面被环境异常验证拦住了,正文内容完全看不到,没法确认具体怎么采集数据、在什么任务上验证、效果到底怎么样。
推荐理由:灵初智能称用10万小时人类操作数据训练机器人策略,W0世界模型只在训练时做迁移,部署仅运行R2,其数据采集方式与任务验证结果尚无法确认。
阿里达摩院发了篇 ACL 2026 论文,提出 I²B-LPO,解决强化学习微调时模型解题思路越来越像的问题。做法是在模型生成答案时,碰到它犹豫不决的节点就分叉出多条路径,再用一个基于信息瓶颈的自奖励机制筛掉重复的、留下真正不一样的解法。
推荐理由:阿里达摩院提出 I²B-LPO,在模型解题犹豫处分支采样,并用信息瓶颈自奖励筛出不同解法,缓解强化学习微调中思路趋同的问题。
报告把训练一个原生多模态模型的全流程拆成了六步,从统一建模、无损接视觉信号,到用自回归加像素空间流匹配一起训,再到强化学习后训练和蒸馏,每一步都给了实操细节。开源版本 SenseNova-U1-A3B-MoT 用了混合专家架构,只激活 30 亿参数,主打跑得快、成本低。
推荐理由:商汤发布 SenseNova-U1 技术报告,把原生多模态模型从统一建模到强化学习后训练、蒸馏的六步流程逐项拆开,并开源激活参数 30 亿的混合专家版本。
面壁智能、清华和 OpenBMB 放出了 MiniCPM-V 4.6,一个 13 亿参数的多模态模型。它最大的卖点是能在一张 RTX 4090 显卡上完成全量微调,不用再靠低秩适配这类折中方案。模型提供了两种视觉 token 压缩模式:4 倍压缩追求精度,16 倍压缩追求速度,让开发者自己按场景选。
推荐理由:面壁智能、清华与 OpenBMB 开源 13 亿参数的 MiniCPM-V 4.6,单张 RTX 4090 即可全量微调,并提供 4 倍与 16 倍两种视觉 token 压缩模式。
作者 Nathan Lambert 从中国 AI 圈几乎全员开源的现状出发,聊了聊开放模型生态真正的省钱逻辑。核心判断是:造前沿模型的大头成本不在最终训练,而在研发试错,这部分算力开销可能占到 80%。中国各家实验室通过详细技术报告和刻意分享,相当于帮同行排了雷,避免重复烧钱做实验,形成了一种靠信息共享降低未来研发成本的复合增长。
推荐理由:作者指出前沿模型研发试错算力可占八成成本,中国实验室通过技术报告共享排雷经验,让开放生态形成降低未来研发成本的复合增长。
Google DeepMind 在 Nature 发表 Co-Scientist 研究,推出基于 Gemini 的多智能体 AI 系统,可迭代生成、辩论和演化复杂科学问题的新假设。
推荐理由:Google DeepMind 在 Nature 发表 Co-Scientist 研究,该系统由 Gemini 驱动的多个专职智能体分工完成假设生成、辩论与演化,并已用于抗微生物耐药等课题。
上海 AI 实验室、上海交大和中科大的团队拿 Qwen3-14B-Base 做长思维链的监督微调实验,发现模型在训练 8 轮后,跨领域的表现会先跌后涨,最终超过原始水平。他们总结出泛化要成立的三个条件:一是得把模型训得足够深,不能浅尝辄止;二是训练数据的质量和结构要过关;三是基座模型本身的能力得够强。
推荐理由:上海 AI 实验室等团队用 Qwen3-14B-Base 做长思维链微调,观察到跨领域表现先跌后涨,并归纳出泛化成立的三个条件。
作者提出在强化学习训练时复用 prompt 缓存,专门针对那种提示很长、模型回复很短的任务。在 Qwen3.5-4B 上跑 16k token 提示、64 token 回复的例子,训练速度直接快了 7.5 倍。
推荐理由:作者把推理阶段的 prompt 缓存思路搬进强化学习训练,针对长提示短回复任务复用重复 token 计算,在 Qwen3.5-4B 上跑 16k 提示、64 token 回复时训练速度提升 7.5 倍。
Richard Sutton 团队给流式强化学习(就是来一条数据学一次、不存回放池的那种)开了个新方子,叫“意图更新”。核心思路很直白:先定好这次更新想让模型输出变多少,再反推学习率该设多大,用的还是 1967 年 Kalman 滤波里的一个公式。
推荐理由:图灵奖得主 Sutton 团队提出意图更新方法,用 1967 年 Kalman 滤波公式反推学习率,让不存回放池的流式强化学习在来一条学一条的条件下少跑偏。
华东师大和复旦的研究者发现,现在大模型训练时只盯着“下一个词”来猜,容易让模型变得自信但目光短浅。他们提出 Next-ToBE,训练时给模型一个“软目标”,让它同时参考未来几个词的信息,但推理时不用改,还是正常的逐词生成。
推荐理由:华东师大和复旦研究者提出 Next-ToBE,训练时让模型参考未来几个词的软目标,推理时仍逐词生成,在 36 项测试中赢了 35 次。
RadixArk 在 5 月 5 号宣布拿了 1 亿美元种子轮,投后估值 4 亿美元。领投的是 Accel,Spark Capital 跟投,更少见的是英伟达、AMD、英特尔这三家芯片厂同时出现在投资人名单里,联发科和 Databricks 也参与了。
推荐理由:RadixArk 以 4 亿美元投后估值完成 1 亿美元种子轮,英伟达、AMD、英特尔三家芯片厂同时出现在投资人名单里,这一组合在 AI 基础设施融资中并不常见。
SGLang 的团队新成立了一家公司叫 RadixArk,5 月 5 号宣布完成 1 亿美元种子轮融资,投后估值 4 亿美元。SGLang 是一个开源的模型推理框架,目前在 GitHub 上有超过 2.7 万颗星,部署的 GPU 超过 40 万张。
推荐理由:SGLang 团队成立 RadixArk 并完成 1 亿美元种子轮,投后估值 4 亿美元,其开源推理框架已有 2.7 万 GitHub 星和超 40 万张 GPU 部署。
Ai2 研究员 Nathan Lambert 在 36 小时内密集拜访了智谱、月之暗面、清华、美团、小米和零一万物。他观察到中国 AI 实验室普遍紧盯字节跳动的动向,同时对 DeepSeek 的技术实力和开源做法表示尊重。学生深度参与核心工作、开源习惯以及技术栈的自主掌控,是中美 AI 生态的几个明显差异。
推荐理由:Ai2 研究员 Nathan Lambert 在 36 小时内走访智谱、月之暗面、清华、美团、小米和零一万物,记录下中国实验室紧盯字节、尊重 DeepSeek 的现场观察。
Anthropic 提出在预训练和对齐微调之间加一个叫 MSM 的训练阶段。他们在 Qwen2.5-32B 和 Qwen3-32B 上做了测试,模型乱说话的比例分别从 68% 和 54% 降到了 5% 和 7%。核心点是 MSM 是补强对齐微调,而不是替代它。
推荐理由:Anthropic 在 Qwen2.5-32B 和 Qwen3-32B 上测试了预训练与对齐微调之间的 MSM 阶段,失准率从 68% 和 54% 降至 5% 和 7%,并明确 MSM 是对齐微调的补强而非替代。
五家主要出版集团把 Meta 和扎克伯格告了,理由是 Meta 在训练 Llama 系列模型时,未经授权就用了他们受版权保护的作品。目前这篇 FT 报道正文被付费墙挡住,只显示了标题和摘要片段,所以具体涉及多少本书、索赔金额、在哪个法院起诉、以及 Meta 到底是通过什么方式把这些书喂给模型的,这些关键信息正文都没披露。
推荐理由:五家出版集团起诉 Meta 和扎克伯格,指控其在训练 Llama 系列模型时未经授权使用受版权保护的作品,涉及训练语料授权这一模型开发中的现实问题。
一个叫 Suspicious_Gap1121 的 Reddit 用户放出了 Quadtrix.cpp,一个用 C++17 从零写的 GPT 风格模型,总共 83 万参数。模型结构是 4 层、4 个注意力头、宽度 200 维,一次能看 128 个字符的上下文。
推荐理由:Reddit 用户用 C++17 从零实现 83 万参数的 GPT 风格模型,手写全部反传,单核 CPU 训练 76 分钟,省去 PyTorch 和 BLAS 依赖。
马斯克在法庭上说自己当年被忽悠了,给 OpenAI 捐了 3800 万美元,结果现在变成一家估值 8000 亿美元的公司。他要求法院把奥特曼和布罗克曼踢出管理层,并撤销 OpenAI 的营利性重组。
推荐理由:马斯克在庭上承认 xAI 蒸馏了 OpenAI 的模型,而 OpenAI 此前曾以类似理由指控 DeepSeek,蒸馏的边界由此进入司法审理。
这篇文章梳理了 2024 到 2026 年,让大模型学会推理的强化学习算法是怎么一步步改的。起点是 PPO,它需要同时跑一个策略模型和一个价值模型,训练成本高。后来的 GRPO、RLOO 这些变体,核心思路是砍掉价值模型,靠同一道题生成多个答案互相比较来算优势,省了显存和算力。
推荐理由:文章梳理了2024到2026年大模型推理强化学习算法的演进脉络,从PPO到GRPO、RLOO再到MaxRL,重点讲清各方案如何通过砍掉价值模型来降低训练成本。
马斯克在加州联邦法院作证时,承认 xAI“部分”使用了 OpenAI 的模型来改进自家聊天机器人 Grok。用的方法是模型蒸馏,也就是让一个更聪明的大模型当老师,把知识“教”给一个更小、更省钱的模型。不过报道没说他具体用了 OpenAI 的哪个模型、喂了多少数据、跑了多少次训练。这点先别太激动,正文没披露细节,没法判断这到底是一次常规操作还是越界行为。
推荐理由:马斯克在加州联邦法院作证时承认,xAI 部分借助 OpenAI 模型以蒸馏方式改进 Grok,这条的价值在于呈现两家公司之间模型使用关系的具体背景。
马斯克在加州联邦法院作证时,被问到 xAI 是否用 OpenAI 的模型来训练 Grok,他回答“部分是”。这种技术叫“蒸馏”,就是拿大模型的对话结果当教材去教小模型。正文没披露具体用了哪些模型、蒸馏了多少数据、以及这种做法对 Grok 性能的实际影响。
推荐理由:马斯克在加州联邦法院作证时承认 xAI 部分使用 OpenAI 模型训练 Grok,这条证词把大模型蒸馏从传闻带进了诉讼记录。
Goodfire 推出了一款叫 Silico 的工具,让工程师可以在训练过程中直接查看和调整模型的参数,也就是决定模型行为的那些“旋钮”。它能把模型里的神经元和通路画成地图,比如他们在 Qwen 3 里发现一个神经元,激活后模型回答会变成电车难题式的道德困境。
推荐理由:Goodfire 的 Silico 让工程师在训练中直接查看并调整模型参数,还能把神经元和通路画成地图,为理解模型行为提供了一种可视化调试路径。
罗剑岚团队和智元机器人搞了个新训练框架 LWD,已经在 16 台 Agibot G1 真机上跑过验证。LWD Online 在 8 个任务上平均成功率 0.95,长流程任务也能到 0.91。
推荐理由:罗剑岚团队与智元机器人推出 LWD 训练框架,用失败数据训练机器人,并在 16 台 Agibot G1 真机上验证,8 个任务平均成功率达 0.95。
OpenAI 发公告说,GPT-5.5 老把“哥布林”挂嘴边,是因为训练时给“书呆子”人设的回复打了高分,这个偏好通过强化学习和后续训练扩散开了。GPT-5.1 之后,ChatGPT 用“哥布林”的频率涨了 175%;书呆子风格的回复只占总回复的 2.5%,却贡献了 66.7% 的“哥布林”出现次数。
推荐理由:OpenAI 复盘 GPT-5.5 爱说哥布林的成因,指出书呆子人设的奖励信号经强化学习扩散,使该词用量涨 175%,而这类回复仅占 2.5%。
华为泰勒实验室、北大和上海财大在 ACL 2026 发了一篇论文,提出 SHAPE 方法,核心思路是给模型的长篇推理加一道“推理税”。具体做法是:先用熵值把推理过程切成段,再用短距离试探估算每段的潜力,然后对后期又长又没带来实质进展的段落做动态长度打折,最后把奖励分配到每个 token 上。
推荐理由:华为泰勒实验室等提出 SHAPE,用熵值分段和短距离试探估算各段潜力,对后期冗长段落做长度打折,让模型在数学题上答得更准、输出更短。
联影智能放出了 uAI-NEXUS-MedVLM,一个专门让大模型理解超声、内窥镜这类医疗视频的开源方案,配套论文中了 CVPR 2026。他们同时发布了一个叫 MedVidBench 的评测集,包含 53.2 万条视频-指令对,覆盖 8 种医疗视频来源和 8 类任务。
推荐理由:联影智能开源了面向超声、内窥镜等医疗视频的大模型方案 uAI-NEXUS-MedVLM,并同步发布含 53.2 万条视频指令对的 MedVidBench 评测集。
小米这次放出的 MiMo-V2.5 系列模型用了 MIT 开源协议,你可以直接拿来商用、做二次训练和微调,不用再额外申请授权。正文没披露模型参数量和跑分成绩,这点先别太激动。同时他们还搞了个 Orbit 100T Token 计划,分两块:一块是给 AI builder 的激励,申请通过最高能拿到 16 亿 Credits,价值 659 元。
推荐理由:小米将 MiMo-V2.5 系列模型以 MIT 协议开源,可直接商用、二次训练和微调,无需额外申请授权,同时配套 Orbit 100T Token 计划提供最高 16 亿 Credits 的申请激励。
SGLang 和 Miles 团队在 DeepSeek-V4 发布当天就完成了推理和强化学习训练的适配,覆盖了 1.6T 参数的 Pro 版和 284B 参数的 Flash 版。V4 模型用了混合稀疏注意力,把滑动窗口和两种 KV 压缩(4:1 或 128:1)混在一起,撑住了 100 万 token 的上下文窗口,专家权重还用了 FP4 精度。
推荐理由:SGLang 和 Miles 在 DeepSeek-V4 发布当天完成推理与强化学习训练适配,覆盖 1.6T 参数 Pro 版和 284B 参数 Flash 版,并披露混合稀疏注意力与 FP4 专家权重等部署细节。
ServiceNow 在 Hugging Face 上发了 SuperApriel-15B-Instruct,一个 15B 参数的指令模型。
推荐理由:ServiceNow 发布 15B 指令模型 SuperApriel-15B-Instruct,单个权重包可切出 8 种速度档位,最快解码吞吐量提升 10 倍,部署时能在同一模型内调整延迟与质量的取舍。
作者搭了一套 QLoRA 流程来微调苹果那个跑在手机上的 3B 模型,把显存需求从大约 24GB 压到 1GB 内存加 5GB 显存,免费版 Colab T4 或者一台 24GB 内存的 Mac 就能跑。
推荐理由:作者用 QLoRA 微调苹果端侧 3B 模型,把显存需求从约 24GB 压到 1GB 内存加 5GB 显存,免费 Colab T4 或 24GB 内存 Mac 即可复现整套流程。
一位 Reddit 用户用 800 份标注过的财报电话会记录微调了 Gemma 4 26B,然后在一张 RTX 4090 上花了约 14 小时,推理了 3 年内共 2400 份记录。在 600 份样本外数据上,一个信号显示:CFO 指引越含糊,公司股价在 5 天内相对板块平均跑输约 1.8%,信息系数(IC)为 0.04。
推荐理由:一位 Reddit 用户用 800 份标注财报电话会微调 Gemma 4 26B,在单张 RTX 4090 上推理 2400 份记录,其中一个信号在 600 份样本外数据显示 CFO 指引越含糊,股价 5 日内相对板块跑输约 1.8%。
Google DeepMind 团队在 Gemma 9B 上做了一组实验,证明 RLHF 数据效率低不是算法本身不行,而是用法错了。他们对比了四种算法:离线 RLHF 需要约 20 万条偏好标注才能达到 55% 左右的胜率;而他们提出的在线 RLHF 加上信息导向探索,不到 2 万条标注就做到了同样的水平,数据效率提升超过 10 倍。
推荐理由:DeepMind 在 Gemma 9B 上对比四种 RLHF 算法,在线 RLHF 加信息导向探索用不到 2 万条偏好标注达到离线方法约 20 万条的效果,数据效率相差十倍。
VoxCPM 2 是个 20 亿参数的开源语音模型,主打低延迟和少样本复刻。官方说生成经常在 1 秒内完成,给一段 5 秒以上的参考音频就能模仿音色和风格,演示里用它念了语速极快的相声贯口《莽撞人》。技术上它没用传统的声学码本,而是走扩散自回归连续表征路线,支持去噪、LoRA 微调和全量微调。
推荐理由:面壁智能与清华 OpenBMB 开源 20 亿参数语音模型 VoxCPM 2,5 秒参考音频即可复刻音色,并采用扩散自回归连续表征路线。
五角大楼计划为生成式 AI 公司搭建安全环境,让它们用机密数据训练军事专用版模型。Anthropic 的 Claude 已经在机密场景里用来回答问题,包括分析伊朗境内的目标,但让模型直接拿机密数据训练是头一回。这意味着监控报告、战场评估这类敏感情报会被写进模型参数里,AI 公司离机密数据也会比以往更近。
推荐理由:五角大楼计划为生成式 AI 公司搭建安全环境,让它们用机密数据训练军事专用版模型,Anthropic 的 Claude 此前已在机密场景中用于分析伊朗境内目标。
五角大楼正在讨论建一个安全环境,让 OpenAI、xAI 这类公司用机密数据训练军用版大模型。以前这些模型只能在涉密环境里回答问题,不能拿数据去学习,这次是头一回允许直接“吃”进机密情报。训练会在认证过的数据中心进行,数据归国防部,公司人员只在极少数情况下、有安全许可才能接触。官方说会先用非机密数据(比如商业卫星图)做测试,看效果再推进。
推荐理由:五角大楼计划为OpenAI、xAI等公司搭建安全环境,让它们用机密数据训练军用大模型,数据归国防部所有,公司人员仅在极少数情况下可接触。
Mistral AI 推出 Forge,一套让企业基于自有专有知识构建前沿级 AI 模型的系统,支持预训练、后训练和强化学习等阶段。Forge 支持 dense 与 MoE 架构,并可处理多模态输入,模型可在企业内部基础设施中训练与治理。Mistral AI 已与 ASML、Ericsson、欧洲空间局、新加坡 DSO National Laboratories 等机构合作,用其专有数据训练模型。
推荐理由:Mistral AI 推出企业级模型训练系统 Forge,支持预训练、后训练与强化学习,并已在 ASML、爱立信等机构用专有数据训练模型。
NVIDIA 在 GTC 上主推两件事:一是让 AI 助手直接在 RTX 电脑和 DGX Spark 小超算上本地跑,不用联网,隐私和 token 成本都省了。DGX Spark 有 128GB 统一内存,能塞下 120B 参数以上的模型。
推荐理由:NVIDIA 在 GTC 上让 AI 助手直接在 RTX 电脑和 DGX Spark 上本地运行,DGX Spark 的 128GB 统一内存可容纳 120B 参数以上模型,隐私与 token 成本是本地推理的两个落点。
英伟达发了 Nemotron 3 Super,一个总参数量 120B、但每次推理只激活 12B 参数的混合专家模型。它用了混合 MoE、隐式 MoE 和一次预测多个 token 的技术,上下文窗口拉到 100 万 token。官方说在跑 agent 这类多步骤任务时,吞吐量比之前方案高 5 倍。
推荐理由:英伟达开源 Nemotron 3 Super,总参 120B 但每次推理只激活 12B,并支持 100 万 token 上下文,官方称跑 agent 多步骤任务时吞吐量提升 5 倍。