跳到正文

#推理

今日 3 条

5月8日星期五

Latent Space

OpenAI 发了三个实时语音模型:GPT-Realtime-2、翻译版和 Whisper 版,上下文从 32K 扩到 128K

OpenAI 在 Realtime API 里上线了 GPT-Realtime-2、GPT-Realtime-Translate 和 GPT-Realtime-Whisper。

推荐理由:OpenAI 在 Realtime API 上线三款实时语音模型,上下文从 32K 扩到 128K,实时语音应用的开发者可据此判断接口能力边界。

新智元 · 公众号

用 token 级价值函数控制回答长度,3B 模型在长度控制上跑赢 GPT-5.4 和 Claude

加州大学圣塔芭芭拉分校和苹果的研究人员搞了个叫 LenVM 的方法,把“还剩多少 token 要生成”建模成一个 token 级别的价值函数,相当于给模型装了个实时字数进度条。

推荐理由:加州大学圣塔芭芭拉分校和苹果提出 LenVM,把剩余生成长度建模为 token 级价值函数,让 3B 模型在长度控制上超过 GPT-5.4 和 Claude。

量子位 · 公众号

哈工大华为搞了个免训练加速框架,让扩散大模型推理快4.48倍还不掉精度

哈工大深圳、华为和深圳河套学院提出一个叫 Dynamic-dLLM 的框架,不用重新训练就能给扩散大语言模型加速。在 LLaDA-8B-Instruct 上跑 GSM8k 数学题,吞吐量从每秒 8.32 个 token 提到 37.29 个 token,快了 4.48 倍,而且精度几乎没降。

推荐理由:哈工大深圳与华为提出免训练加速框架 Dynamic-dLLM,在 LLaDA-8B-Instruct 上把 GSM8k 吞吐量从每秒 8.32 个 token 提到 37.29 个,精度几乎不变。

量子位 · 公众号

OpenAI 把 GPT-5 级推理塞进语音模型,同传翻译成本打到地板价

OpenAI 发了三个实时语音模型:GPT-Realtime-2 能边听边推理,上下文窗口 128K;GPT-Realtime-Translate 支持 70 多种语言输入、13 种语言输出,做流式同传;GPT-Realtime-Whisper 实时转写每分钟只要 0.017 美元。正文没披露具体推理跑分和翻译延迟数据,实际效果还得等上手测。

推荐理由:OpenAI 发布三款实时语音模型,覆盖边听边推理、70 多种语言流式同传和每分钟 0.017 美元的实时转写,语音应用的推理能力与成本边界同时被改写。

量子位 · 公众号

美国研究员 36 小时跑遍中国 AI 圈:字节让所有实验室紧张,DeepSeek 被所有人夸

Ai2 研究员 Nathan Lambert 在 36 小时内密集拜访了智谱、月之暗面、清华、美团、小米和零一万物。他观察到中国 AI 实验室普遍紧盯字节跳动的动向,同时对 DeepSeek 的技术实力和开源做法表示尊重。学生深度参与核心工作、开源习惯以及技术栈的自主掌控,是中美 AI 生态的几个明显差异。

推荐理由:Ai2 研究员 Nathan Lambert 在 36 小时内走访智谱、月之暗面、清华、美团、小米和零一万物,记录下中国实验室紧盯字节、尊重 DeepSeek 的现场观察。

r/LocalLLaMA

单张 4090 跑出 11.67%:TOPAS 递归架构在 ARC-AGI-2 上的本地测试结果

Doug_Bitterbot 用一张 RTX 4090 训练了大约 14 天,让 TOPAS 模型在 ARC-AGI-2 抽象推理测试上拿到了 11.67% 的分数。这个模型只有 1 亿参数,本地跑分最高到过 36%,但它的递归测试时训练(TTT)机制在 Kaggle 的题目上出了问题,将近一半的谜题直接输出空结果。

推荐理由:一张 RTX 4090 训练约 14 天,让 1 亿参数的 TOPAS 在 ARC-AGI-2 上拿到 11.67%,本地跑分则到过 36%,递归测试时训练在 Kaggle 上导致近一半题目输出空结果。

5月7日星期四

AI HOT 精选

万亿参数指令模型 Ling-2.6-1T 上线 OpenRouter,主打“快思考”和降本 75%

inclusionAI 把 Ling-2.6-1T 放到了 OpenRouter 上,这是一个万亿参数的指令模型,专门给现实世界的智能体任务用。它走“快速思考”路线,在 AIME26 和 SWE-bench Verified 这两个测试上成绩顶尖,同时宣称推理成本比同类低了大约 75%。官方列出的适用场景包括高级编程、复杂推理和大规模智能体工作流。

推荐理由:inclusionAI 将万亿参数指令模型 Ling-2.6-1T 上线 OpenRouter,主打快速思考并宣称推理成本比同类低约 75%,面向高级编程与智能体工作流。

r/LocalLLaMA

Qwen 发布 WebWorld 系列模型,用 100 多万条真实网页操作轨迹训练,让模型学会在浏览器里干活

Qwen 在 Qwen3 基础上微调出了 WebWorld 32B、14B、8B 三个尺寸的模型,专门用来训练和评测能在网页上执行任务的智能体。训练数据包含超过 100 万条真实网页操作轨迹,模拟环境支持 30 步以上的连续操作,并且能同时看懂无障碍树、HTML、XML、Markdown 和自然语言描述这五种页面状态。

推荐理由:Qwen 基于 Qwen3 微调出 WebWorld 三个尺寸模型,用超 100 万条真实网页操作轨迹训练网页智能体,并支持 30 步以上连续操作与五种页面状态输入。

OpenAI News

OpenAI 在 API 里上线了三款实时语音模型,能边听边推理、翻译和转写

OpenAI 这次发了三个新模型:GPT‑Realtime‑2 是带 GPT‑5 级推理能力的语音模型,能处理更复杂的请求,说话中间可以插话、改主意,它还能边想边回一句“我查一下”,同时调用多个工具;GPT‑Realtime‑Translate 做实时翻译,支持 70 多种输入语言转 13 种输出语言,语速跟得上说话人。

推荐理由:OpenAI 在 API 上线三款实时语音模型,GPT‑Realtime‑2 支持边推理边调用多个工具,GPT‑Realtime‑Translate 覆盖 70 多种输入语言转 13 种输出语言。

TechCrunch · AI

DeepSeek 首次对外融资,估值可能冲到 450 亿美元

DeepSeek 正在谈第一笔外部投资,几周内估值就从 200 亿涨到了 450 亿美元。这家中国 AI 实验室 2025 年初靠一个训练成本远低于 OpenAI、Anthropic 等美国模型的大语言模型出圈,之后在推理和编程能力上一直咬住第一梯队,模型权重也开放下载。创始人梁文锋原本没打算融资,但对手开始挖人,他才决定引入资金好给员工发股份。

推荐理由:DeepSeek 正洽谈第一笔外部投资,估值几周内从 200 亿美元升至 450 亿美元,创始人梁文锋此前并无融资计划,因对手挖人而引入资金用于员工股份。

5月6日星期三

r/LocalLLaMA

单张 RTX 5090 跑通 Qwen3.6 27B:NVFP4 量化加 MTP 投机解码,200k 上下文实测 73.6 tok/s

一位 Reddit 用户在单张 32GB 显存的 RTX 5090 上,用 vLLM 跑通了 Qwen3.6 27B 的 NVFP4 量化版,并验证了 200k 上下文长度。配置上用了 fp8_e4m3 的 KV 缓存、FlashInfer 和 3 个投机 token 的 MTP。

推荐理由:Reddit 用户用单张 RTX 5090 在 vLLM 上跑通 Qwen3.6 27B 的 NVFP4 量化版,并验证 200k 上下文,给出了 fp8_e4m3 KV 缓存与 MTP 投机解码的具体配置。

新智元 · 公众号

GPT-5.5 Instant 成了 ChatGPT 的免费默认模型

OpenAI 把 GPT-5.5 Instant 设成了 ChatGPT 的默认模型,所有用户都能免费用。AIME 2025 的得分从 65.4% 涨到 81.2%,回答长度缩短了 30.2%,在高风险提示上的幻觉率比 GPT-5.3 Instant 低了 52.5%。Plus 和 Pro 的网页用户会先拿到聊天、文件和 Gmail 的个性化功能。

推荐理由:OpenAI 把 GPT-5.5 Instant 设为 ChatGPT 默认模型并向所有用户免费开放,AIME 2025 得分从 65.4% 升至 81.2%,高风险提示幻觉率比上一版低 52.5%。

Computing Life · Share · 鸭哥调研

AI 时代,复核不等于独立判断

别人拿 AI 输出来压你,你一眼就能看出他没动脑子。但轮到自己用 AI 写分析、回邮件时,那条线就模糊了:你读一遍觉得通顺,就发出去了,这到底算独立判断,还是只做了个熟悉度检测?沃顿的 Shaw 和 Nave 用实验把这事量化了。一千三百多人做认知反射测试,AI 给错误答案时,仍有八成的人照单全收。

推荐理由:沃顿的 Shaw 和 Nave 用一千三百多人的认知反射测试发现,AI 给出错误答案时仍有八成受试者照单全收,这条把复核与独立判断之间的界线摆到了实验数据上。

Latent Space

GPT-5 用 11 分钟复现了物理学家的硬核论文,OpenAI 开始正经搞科研了

理论物理学家 Alex Lupsasca 聊了他怎么用 GPT-5 做研究。他先让模型做了道课本里的热身题,然后 GPT-5 只花了 11 分钟就复现了他一篇获奖级别的论文,这篇论文的发表日期在模型训练数据截止之后。

推荐理由:理论物理学家 Alex Lupsasca 用 GPT-5 在 11 分钟内复现了自己一篇获奖论文的结果,而该论文发表时间晚于模型训练数据截止日期。

The Verge · AI

OpenAI 说 ChatGPT 默认模型 GPT-5.5 Instant 的幻觉问题少了一大截

ChatGPT 把免费用户和 Plus 用户的默认模型换成了 GPT-5.5 Instant。OpenAI 内部测试显示,在容易出高风险幻觉的提示上,它比上一代 GPT-5.3 Instant 的瞎编次数少了 52.5%;在被标记为“难聊”的对话里,不准确的说法也降了 37.3%。

推荐理由:OpenAI 将 ChatGPT 默认模型换成 GPT-5.5 Instant,并给出内部测试中高风险幻觉提示瞎编次数较上代减少 52.5% 的数字,是了解默认模型迭代效果的直接参照。

TechCrunch · AI

OpenAI 把 ChatGPT 默认模型换成了 GPT-5.5 Instant,说在法律、医学、金融这些领域更少胡说八道

OpenAI 发了 GPT-5.5 Instant,直接替掉了之前的 GPT-5.3 Instant,成了 ChatGPT 的默认模型。公司说新模型在法律、医学和金融这些容易出错的领域减少了幻觉(也就是瞎编答案),同时保持了上一代的低延迟。但正文没披露任何跑分、具体降低了多少幻觉率、覆盖哪些用户、以及价格有没有变。

推荐理由:OpenAI 将 ChatGPT 默认模型从 GPT-5.3 Instant 换成 GPT-5.5 Instant,并称新模型在法律、医学、金融领域减少了幻觉,同时保持低延迟。

5月5日星期二

r/LocalLLaMA

Hugging Face 发了个交互式指南,横向对比不同框架下的强化学习训练环境

Hugging Face 的后训练团队花了一个月,用 verifiers、OpenEnv、Nemo-Gym、OpenRewards 等几套框架分别搭了强化学习环境,然后实际训模型来看哪种方案在扩展时更顺手。他们把这个过程做成了交互式指南,方便你点进去对比。

推荐理由:Hugging Face 后训练团队用一个月把 verifiers、OpenEnv、Nemo-Gym 等几套框架各搭一遍强化学习环境并实际训模型,横向比较它们在扩展时的差异。

OpenAI News

OpenAI 把 ChatGPT 默认模型换成了 GPT-5.5 Instant,回答更准、废话更少

OpenAI 把免费用户和默认聊天用的模型升级到了 GPT-5.5 Instant。官方说这次更新主要干了三件事:回答更靠谱、更简洁,并且更能利用你之前聊过的上下文来贴合你的偏好。内部测试里,在医疗、法律、金融这类高风险问题上,GPT-5.5 Instant 比上一代 GPT-5.3 Instant 的幻觉内容少了 52.5%。

推荐理由:OpenAI 将 ChatGPT 默认模型升级为 GPT-5.5 Instant,官方称其在医疗、法律、金融等高风险问题上的幻觉内容比上一代减少 52.5%。

机器之心 · 公众号

Agent-World 用近两千个环境训练通用智能体,任务平均超过 15 步

这篇文章的正文被微信环境验证挡住了,看不到具体内容。从已有的英文摘要看,Agent-World 这个工作造了 1978 个环境和 19822 个工具,专门用来训练能处理长流程任务的智能体。它的做法是把网页挖掘、工具生成、可验证的任务合成和 GRPO 训练串在一起,任务平均要跑 15 步以上。

推荐理由:Agent-World 构建了 1978 个环境和 19822 个工具,把网页挖掘、工具生成、任务合成与 GRPO 训练串成一条链路,用于训练能完成平均 15 步以上长流程任务的通用智能体。

5月4日星期一

机器之心 · 公众号

ACL 2026:港理工开源“会思考”的手语翻译模型 SignThought,不用中间标注直接出文字

香港理工大学和四川大学搞了个叫 SignThought 的手语翻译模型,中了 ACL 2026 主会,还被推荐做口头报告。它最大的不同是不依赖“手语注释”(gloss),直接看视频出文字,省掉了中间那层人工标注。

推荐理由:ACL 2026 Main 接收并拟推荐口头报告,加上开源模型和新数据集,H、K、R 三项都站得住。方法有具体拆解,五个 benchmark 验证,不是空对空。手语翻译这个细分方向让它比通用多模态模型或开发者工具的关注度低一些,所以重要性没给更高。

新智元 · 公众号

DeepMind 用 AI 挑战 700 道数学难题,结果有一题题干是错的,AI 还硬写了数十页证明

Google DeepMind 搞了个叫 Aletheia 的流程,拿 Gemini Deep Think 去啃 700 道 Erdős 数学猜想。流程是先让模型生成 200 个候选答案,再用验证器筛到 63 个,最后产出 13 个原创解答。乌龙出在 Erdős-75 这道题上:题干本身就有问题,但 Aletheia 没发现,照样洋洋洒洒推导了几十页。

推荐理由:DeepMind 用 Aletheia 流程让 Gemini Deep Think 处理 700 道 Erdős 猜想,其中题干本身有误的 Erdős-75 仍被推导出几十页内容,自动验证在数学推理中的边界由此显现。

最佳拍档

Claude Code 变笨了,Anthropic 复盘出三个 bug

Anthropic 自己复盘了 Claude Code 性能回退的原因,点出三个具体问题:推理强度被改动、缓存优化出了错、系统提示词有长度限制。视频标题只给了这些结论,正文没披露复现步骤、时间线和修复状态。核心看点是 AI 审 AI 代码时,工程约束下容易踩坑——这点先别太激动,信息缺口还很大。

推荐理由:Anthropic 复盘 Claude Code 性能回退,归因于推理强度改动、缓存优化出错和系统提示词长度限制三个具体问题,涉及 AI 审查 AI 代码在工程约束下的踩坑。

TechCrunch · AI

哈佛研究:AI 在急诊室给出的诊断比两位人类医生更准

哈佛医学院和贝斯以色列女执事医疗中心的研究团队在《科学》杂志发了一篇论文,拿大语言模型和急诊室医生比诊断准确率。结果至少有一个模型的表现超过了人类医生。但报道没提具体是哪个模型、测了多少病例、准确率数字是多少,也没说医生资历和评判标准。所以结论方向有意思,细节先别太激动。

推荐理由:哈佛医学院团队用真实急诊病例比较大语言模型与人类医生的诊断准确率,至少一个模型超过两名医生,该研究已发表于《科学》。

5月3日星期日

r/LocalLLaMA

开源代理 rosetta-llm 让 Claude Code 能调用任意模型

DataNebula 开源了一个叫 rosetta-llm 的代理,它像一个翻译网关,让 Claude Code 可以跟不同厂商的模型对话。

推荐理由:DataNebula 开源的 rosetta-llm 充当翻译网关,让 Claude Code 能调用不同厂商的模型,为多模型混用提供了一种接入思路。

新智元 · 公众号

斯坦福团队用 AI 从零设计出全新噬菌体,16 个能感染并杀死大肠杆菌

斯坦福和 Arc 研究所的研究人员用他们训练的模型 Evo,直接生成了 302 个噬菌体基因组,其中 16 个成功感染了大肠杆菌、完成自我复制并最终裂解了宿主细胞。这相当于 AI 不靠自然界已有的病毒模板,凭空造出了能干活的新病毒。Evo 模型基于 StripedHyena 2 架构,一次能处理 100 万个碱基对的长序列。

推荐理由:斯坦福与 Arc 研究所用 Evo 模型直接生成 302 个噬菌体基因组,其中 16 个能感染大肠杆菌并完成复制裂解,展示了不依赖天然模板设计完整病毒基因组的路径。

量子位 · 公众号

DeepSeek V4 技术报告里漏掉了 Engram,一个能明显拉高长文本记忆分数的查表模块

DeepSeek V4 的技术报告列了一堆新组件,但没提 Engram。这个模块是 DeepSeek 和北大在 1 月开源的,做法是在 Transformer 的第 2 到第 15 层之间插入查表模块。在 27B 规模的测试里,它把 MMLU 拉高了 3.4 分,多查询大海捞针准确率干到了 97.0%。

推荐理由:DeepSeek V4 技术报告未收录与北大 1 月开源的 Engram 查表模块,该模块在 27B 规模测试中把 MMLU 拉高 3.4 分,多查询大海捞针准确率达 97.0%。

Hacker News 首页

哈佛急诊分诊试验:OpenAI o1 诊断准确率 67%,比医生高出 12-17 个百分点

哈佛大学在急诊分诊场景下拿 OpenAI 的 o1 模型和真人医生比了一场。o1 正确诊断了 67% 的患者,而分诊医生的准确率在 50% 到 55% 之间。这个差距看着不小,但正文没披露样本量、病例构成和具体评估方法,所以数字本身只能当个方向参考。

推荐理由:哈佛在急诊分诊场景对比 OpenAI o1 与真人医生,o1 诊断准确率 67%,比医生的 50% 到 55% 高出 12 到 17 个百分点。

5月1日星期五

r/LocalLLaMA

Reddit 实测 MiMo-V2.5-Pro:开源模型里跑桌游《血染钟楼》最稳的一个

Reddit 用户 cjami 拿小米的 MiMo-V2.5-Pro 在《血染钟楼》里做了自主对局测试。模型扮演好人阵营时胜率 88%,扮演坏人时胜率掉到 48%,说明它更擅长合作推理,搞欺骗和伪装还差点意思。每局平均输出 18.3 万 token,成本 0.99 美元,工具调用出错率只有 0.4%,这个错误率很低,说明模型能稳定按规则调用游戏功能。

推荐理由:Reddit 用户 cjami 用《血染钟楼》自主对局测试 MiMo-V2.5-Pro,好人阵营胜率 88%、坏人 48%,工具调用出错率 0.4%,可看开源模型在合作推理与欺骗任务上的差距。

机器之心 · 公众号

强化学习在 LLM 推理训练里的算法演变:从 PPO 到 MaxRL

这篇文章梳理了 2024 到 2026 年,让大模型学会推理的强化学习算法是怎么一步步改的。起点是 PPO,它需要同时跑一个策略模型和一个价值模型,训练成本高。后来的 GRPO、RLOO 这些变体,核心思路是砍掉价值模型,靠同一道题生成多个答案互相比较来算优势,省了显存和算力。

推荐理由:文章梳理了2024到2026年大模型推理强化学习算法的演进脉络,从PPO到GRPO、RLOO再到MaxRL,重点讲清各方案如何通过砍掉价值模型来降低训练成本。

机器之心 · 公众号

有人用 API 猜出了 GPT、Claude、Gemini 的参数量,社区吵翻了

Bojie Li 在 arXiv 发了篇论文,用黑盒 API 调用去估算 27 家厂商 188 个模型的参数量。方法叫 IKP,靠 1400 道按生僻程度分了 7 档的题,先在 89 个已知参数量的开源模型上拟合,拟合度 R² 到 0.917。

推荐理由:Bojie Li 用黑盒 API 调用估算 27 家厂商 188 个模型的参数量,方法先在 89 个已知开源模型上拟合到 R² 0.917,社区对结论争议不小。

量子位 · 公众号

北大和快手可灵开源 OpenWorldLib,一个框架想统一视频生成、3D、机器人控制和推理

正文因为微信环境异常被拦截了,实际内容没抓到。从现有标题和英文摘要看,北大 DCAI 和快手可灵开源了一个叫 OpenWorldLib 的统一世界模型框架,把视频生成、3D 建模、VLA 机器人控制、多模态推理四类任务塞进一套 Pipeline 里。Pipeline 里分了 Operator、推理、合成、表征和记忆几个模块,支持前向和流式执行。

推荐理由:北大 DCAI 与快手可灵开源 OpenWorldLib,把视频生成、3D 建模、VLA 机器人控制与多模态推理四类任务纳入同一套 Pipeline,并给出 Operator、推理、合成、表征和记忆的模块划分。

4月30日星期四

r/LocalLLaMA

有人把计算器塞进了 Transformer 权重里

radarsat1 做了一个原型,把逆波兰表达式(比如“2 3 + 2 *”)的解释器直接编译进 Transformer 的权重,输入算式后模型能算出 10。做法是把残差流当寄存器用,注意力权重由编译器算好,非线性的 MLP 逻辑还是靠训练。原型体积 1.1 GB,重点不是实用计算器,而是证明了注意力权重可以完全通过计算得出,不用训练。

推荐理由:radarsat1 把逆波兰表达式解释器编译进 Transformer 权重,注意力权重由编译器算出而非训练,为推理逻辑与训练参数的分离提供了一种可迁移做法。

r/LocalLLaMA

DeepSeek 放出了“用视觉原语思考”框架,让模型在推理时直接画坐标和框

DeepSeek 和北大、清华一起发了篇论文,还公开了代码库。这个框架的思路是在思维链里插入坐标点和边界框,相当于让模型边想边在图上做标记。帖子本身没贴跑分数据,正文也没披露具体指标,所以效果到底提升多少还不清楚。

推荐理由:DeepSeek 联合北大、清华发布论文并开源代码,把坐标点和边界框作为推理单元插入思维链,为多模态推理提供了一种可迁移的标记式方法。

新智元 · 公众号

陶哲轩说数学界从缺证明变成证明太多,AI 生成的“生肉证明”堆满 GitHub

陶哲轩最近公开说,数学研究的瓶颈已经从“找不到证明”变成了“证明太多看不过来”。在一个关于 Erdős 问题的 GitHub 页面上,已经有 20 多个 AI 生成的解法等着人去评估。文章提到 GPT-5.4 Pro 用 80 分钟就给出了 Erdős #1196 的一个思路,陶哲轩自己在 24 小时内验证了核心部分。

推荐理由:陶哲轩指出数学研究的瓶颈已从找不到解法转为解法过多,一个 Erdős 问题页面就积压了 20 多份 AI 生成的解法等待评估,数学界正面临验证与消化的新课题。

机器之心 · 公众号

ACL 2026 综述:大模型的可解释性,从事后找补转向在设计阶段就内置

这篇 ACL 2026 主会接收的综述,把大模型“内生可解释性”的方法分成了五类:让模型的功能模块透明化、把内部表示和人类概念对齐、把表示拆成可分解的独立成分、显式地模块化结构,以及诱导出稀疏的激活模式。像 MoE、概念瓶颈模型、GLU/SwiGLU 这些技术都被归了进去。

推荐理由:这篇 ACL 2026 综述把大模型内生可解释性的方法归为五类,并将 MoE、概念瓶颈模型、GLU/SwiGLU 等已有结构纳入同一框架,便于快速了解该方向的方法版图。

机器之心 · 公众号

Alec Radford 用只学到 1930 年的模型,接下了哈萨比斯的 AGI 考题

Alec Radford 团队训了一个 13B 的模型,训练数据全是 1931 年之前的英文文本,总共 2600 亿 token。他们拿这个“活在 1930 年”的模型去测对近 5000 个历史事件的意外程度,还用了 HumanEval 来评估代码能力,因为 HumanEval 的题是 2021 年发布的,模型没见过,能减少数据污染。

推荐理由:Alec Radford 团队用 1931 年前英文文本训练 13B 模型,以近 5000 个历史事件测其对战后事件的意外程度,为数据污染与评测设计提供参照。

r/LocalLLaMA

inclusionAI 在 Hugging Face 开源了 Ling-2.6-1T,一个 1 万亿参数的模型

这个模型用了 MLA 和线性注意力,还加了一个叫“上下文过程冗余抑制”的技术,目的是降低思维链推理时的计算开销。帖子提到了 AIME26 和 SWE-bench Verified 两个基准,但正文没披露具体分数,所以实际表现还不清楚。另外,Reddit 原帖被网络屏蔽了,目前只能看到标题和简介,更多细节得去 Hugging Face 模型页翻。

推荐理由:inclusionAI 在 Hugging Face 开源万亿参数的 Ling-2.6-1T,采用 MLA 与线性注意力并加入上下文过程冗余抑制,为关注大模型推理优化的读者提供架构参考。

Dwarkesh Patel 播客

Reiner Pope 黑板讲座:大模型训练和推理背后的数学账本

Dwarkesh 把采访间改成了黑板教室,请来芯片公司 MatX 的 CEO Reiner Pope,用公式和粉笔把大模型从训练到服务的成本结构拆了一遍。讲座从批处理大小讲起:没有批处理,服务成本会直接差出 1000 倍,这也是为什么各家 API 定价和快速模式差价巨大的根源。

推荐理由:MatX 的 CEO Reiner Pope 用公式和粉笔拆解大模型从训练到服务的成本结构,其中批处理对服务经济性的影响达到 1000 倍量级。

4月29日星期三

r/LocalLLaMA

Mistral 发布 1280 亿参数模型,支持图文输入和函数调用,高收入公司商用需额外授权

Mistral AI 在 Hugging Face 上放出了 Mistral Medium 3.5,一个 1280 亿参数的稠密模型,上下文窗口拉到 25.6 万 token。它能吃文本和图片,支持函数调用和 JSON 格式输出,推理强度可以按请求设成“无”或“高”。

推荐理由:Mistral AI 在 Hugging Face 发布 1280 亿参数稠密模型 Mistral Medium 3.5,支持图文输入、函数调用与可调推理强度,上下文窗口达 25.6 万 token。

r/LocalLLaMA

商汤发布 SenseNova-U1:一个原生架构同时搞定看图理解和生图,不再靠外挂适配器

商汤放出了 SenseNova-U1 系列,主打“原生统一多模态”,意思是模型内部直接处理文字和图像,不用再像以前那样给语言模型外接一个图像适配器来翻译视觉信息。这次公开了 8B 和 A3B 两种 MoT(Mixture of Tokens)规格的权重,其中 A3B 的参数量更小,适合本地跑。

推荐理由:商汤开源 SenseNova-U1 系列,模型内部直接处理文字与图像,不再外接图像适配器,并公开 8B 和 A3B 两种 MoT 规格权重,其中 A3B 参数量更小、适合本地运行。