跳到正文

全部动态

今日 8 条

5月15日星期五

r/LocalLLaMA

网友用百万级 token 实测 Qwen 3.6 35B MTP 版,速度比之前快了约一半

一位 Reddit 用户分三次跑了超过一百万 token 来测 Qwen3.6-35B-A3B 的多 token 预测(MTP)版本,上下文拉到 300k,量化用 KV Q8_0。他给出的结论是生成速度大概比之前测过的版本快了 1.5 倍。不过帖子正文被 Reddit 的安全策略挡了,看不到具体测试环境、硬件配置和任务类型,所以这个提速是在什么条件下跑...

推荐理由:一个 Reddit 用户拿 Qwen3.6-35B-A3B MTP 版跑了三轮百万 token 的测试,在 300k 上下文、KV Q8_0 量化下,速度大概是旧测试的 1.5 倍。这个多 token 预测版(一次预测多个 token)确实在本地跑出了可感知的加速,但正文没披露功耗、显存占用和不同量化级别的对比,所以这个 1.5 倍先别太激动,得看自己硬件上复现怎么样。帖子本身有细节、有实测,对想省钱跑长上下文的开发者有参考价值,但毕竟只是单篇个人测试,重要性我给 74。

量子位 · 公众号

160行代码就能跑通LeCun的JEPA世界模型

一个叫keon/jepa的开源教学库把LeCun提出的JEPA世界模型拆成了5个独立变体,每个都用单个PyTorch文件实现,最短160行,最长278行,只依赖PyTorch和torchvision。其中iJEPA在CIFAR-10上跑了100轮,线性探测准确率52.7%,不算高,但胜在代码够短、能跑通。V-JEPA、C-JEPA和LeWorldMod...

推荐理由:我会先打个折:这不是新模型或新论文,是一个教学仓库,把 JEPA 的几个变体写成极简 PyTorch 单文件,方便看懂核心思路。亮点是代码量压到 160 行起步,依赖干净,适合想快速上手世界模型、又不想啃大项目的人。正文没披露训练数据或性能对比,所以别当生产级工具用,但作为学习材料够直接。

AI HOT 精选

IBM 开源多语言嵌入模型 R2:不到 1 亿参数,32K 上下文,检索跑分在同级里最高

IBM 在 Hugging Face 上发了两个新的多语言嵌入模型,都走 Apache 2.0 协议。小号 9700 万参数,在 MTEB 多语言检索上拿了 60.3 分,正文说这是目前所有开源同尺寸模型里最高的。大号 3.11 亿参数,得分 65.2,在 5 亿参数以下的开放模型里排第二。两个模型都基于 ModernBERT,支持 200 多种语言(...

推荐理由:HKR 三项都过:一个不到 1 亿参数、支持 32K 上下文的多语言嵌入模型,给 RAG 开发者提供了一个轻量开源选项。影响面不如前沿模型发布那么大,放在 featured 档刚好。

5月14日星期四

AI HOT 精选

小米 MiMo V2.5 Pro 在 DesignArena 设计竞技场拿到第三,前端编码追平 Claude Sonnet 4.6

MiMo V2.5 Pro 的 Thinking 版本在 DesignArena 总榜上比上一代 MiMo-V2.5 爬了 8 个名次,直接冲到第三。前端编码任务的表现已经和 Claude Sonnet 4.6 打平。正文没披露具体评分和测试样本量,所以这个“追平”是在什么条件下达成的还不清楚,先别太激动。

推荐理由:H、K、R 三条都踩中了,但信息全来自官方一条推文,没公开测试方法、没开放试用、也没提价格,所以先别太激动。这更像一次产品更新和榜单占位,不是那种当天必须追的硬核发布。

新智元 · 公众号

OpenAI 企业市场王座被 Anthropic 踹了,三年头一回

根据 Ramp 从 5 万多家公司的信用卡和发票支出里拉出来的数据,Anthropic 的企业市场份额冲到了 34.4%,OpenAI 掉到 32.3%,这是 OpenAI 三年来第一次在这个指标上被反超。不过正文因为微信环境验证挂了,看不到具体细节,比如统计口径是只算 API 调用还是也包了 ChatGPT 企业版订阅、数据覆盖了多长时间,这些都没法...

推荐理由:我会先打个折:Ramp 的数据只反映它自家客户里的支出份额,不是全行业市占率,所以别直接当成“Anthropic 全面反超”。但 5 万多家企业的实际付款数据比调研问卷硬得多,34.4% 对 32.3% 这个交叉点确实说明 Anthropic 在付费企业里势头很猛。正文没披露统计周期和是否含 API 之外的订阅收入,这点信息有缺口。整体上,这是一条有事实、有数字、有竞争张力的消息,值得从业者看一眼。

AI HOT 精选

OpenSquilla 用本地路由和缓存把大模型传输量砍掉九成以上

OpenSquilla 这个开源项目把模型路由决策放在本地跑,不花 token 就能判断问题难易:简单问题丢给便宜模型,复杂问题才上强模型。它靠增量发送和缓存命中把实际传输的 token 量压到原来的十分之一以下。记忆模块会在上下文快满时自动挑重点压缩,还支持混合检索。正文没披露具体测试场景和模型阵容,所以这 90% 的降幅在什么任务上测出来的还不清楚...

推荐理由:我会先打个折:信息来自一篇 X 上的项目帖,仓库实际活跃度、测试环境和局限性正文都没披露,所以别急着全信。但它的思路很实在——用本地路由和缓存把要传给大模型的 Token 砍掉九成,等于把“外挂资料库”和推理优化打包成一个开源工具。对正在想办法压推理成本的小团队来说,哪怕只实现一半效果也值得关注。

AI HOT 精选

企业付款数据首次显示 Anthropic 的 B2B 客户占比超过 OpenAI

企业支付平台 Ramp 的 AI 指数显示,2026 年 4 月 Anthropic 在美国企业客户中的付费采用率达到 34.4%,首次超过 OpenAI 的 32.3%。Anthropic 的覆盖率一年翻了四倍,而 OpenAI 几乎没动,只涨了 0.3 个百分点。这个数据来自通过 Ramp 走信用卡或账单付款的公司,主要反映美国市场,不直接代表全球...

推荐理由:这是一份来自企业支出平台 Ramp 的账单数据,不是模型发布或产品更新,所以先打个折。但 Anthropic 在美国企业采用率上首次压过 OpenAI,34.4% 对 32.3%,差距不大但信号明确。一年内业务覆盖涨了四倍,说明 Claude 在企业端确实在抢份额。正文没披露样本量和统计口径,所以不能直接当市场全貌看,但作为花钱投票的结果,比单纯比跑分更有参考价值。

r/LocalLLaMA

商汤发布 SenseNova-U1-A3B-MoT,一个模型搞定看图、推理和生成

商汤在 Hugging Face 上放出了 SenseNova-U1-A3B-MoT 模型,同时提供了 A3B MoT、8B MoT 和 0.4B LoRA 权重链接。按官方说法,这套模型用 NEO-unify 架构把多模态理解、推理和生成统一到一个模型家族里。不过 Reddit 原帖被网络屏蔽了,正文没披露具体性能数据、训练细节和实际跑分,想试的话得...

推荐理由:SenseNova 在 Hugging Face 扔了一套多模态模型权重,A3B MoT、8B MoT 加一个 0.4B LoRA,主打 NEO-unify 架构,说能把看图、推理和生成塞进一个模型。我会先打个折:正文没给任何 benchmark 分数,也没写清楚开源协议,所以性能好坏和商用限制现在全是问号。亮点是 LoRA 权重只有 0.4B,对想用消费级显卡跑多模态任务的人挺友好,这点先别太激动,等实测出来再看。整体属于有料但缺关键信息的发布,给个 featured 低段位合理。

5月13日星期三

TechCrunch · AI

Ramp 的企业支出数据里,付费用 Anthropic 的公司比例首次超过了 OpenAI

金融科技公司 Ramp 扒了自家客户的企业支出账单,发现 34.4% 的公司在给 Anthropic 花钱,OpenAI 这个比例是 32.3%,Anthropic 小胜一局。不过正文没披露到底统计了多少家公司、这些公司是初创还是大企业、以及每家每月花多少钱。光看这个比例,只能说在 Ramp 的客户池子里,Anthropic 的付费渗透率暂时领先,但差...

推荐理由:Ramp 是一家企业支出管理平台,它统计的是自己客户里的付费情况,不是全市场收入份额。34.4% 对 32.3%,差距不大,样本也局限在 Ramp 的客群,所以别直接当成“Anthropic 全面反超”。但至少说明在 Ramp 覆盖的那批公司里,Claude 的付费渗透已经压过 OpenAI 一头。正文没披露样本总量和客户行业分布,这点先打个折。

新智元 · 公众号

清华系开源 MiniCPM-V 4.6:1.3B 多模态模型,一张 4090 就能全量微调

面壁智能、清华和 OpenBMB 放出了 MiniCPM-V 4.6,一个 13 亿参数的多模态模型。它最大的卖点是能在一张 RTX 4090 显卡上完成全量微调,不用再靠低秩适配这类折中方案。模型提供了两种视觉 token 压缩模式:4 倍压缩追求精度,16 倍压缩追求速度,让开发者自己按场景选。正文没披露具体的训练数据量和详细评测基准,这点先别太激...

推荐理由:HKR 三项都成立:一条具体的开源多模态模型发布,给了参数量、硬件条件和 token 压缩方案,把本地微调成本压到一张消费级显卡。不是前沿大厂的旗舰发布,但实用性强,82 分合理。

r/LocalLLaMA

有人把 Transformer 语言模型塞进了原装 Game Boy Color 里跑

maddiedreese 把 Andrej Karpathy 的 TinyStories-260K 模型成功跑在了一台没改过硬件的 Game Boy Color 上。他用 INT8 量化权重、定点数运算,把模型和 KV 缓存塞进 MBC5 卡带的 bank-switched ROM 和 SRAM 里,全程不靠手机、电脑、Wi-Fi 或云端推理。不过输出...

推荐理由:一个 Reddit 硬件 hack,把 TinyStories-260K 塞进原装 Game Boy Color,用 INT8 和定点数学跑推理,KV cache 放在卡带 SRAM 里。输出慢到没法用,而且基本是乱码,所以别当产品看。但能在这种老设备上把 transformer 跑起来,本身就挺酷,技术细节也给得实在,适合当一条有趣的行业花絮。

Hacker News 首页

Needle:一个 26M 参数的小模型,专门做工具调用,能在普通电脑上跑到每秒 1200 token

Cactus 开源了一个叫 Needle 的工具调用模型,参数量只有 2600 万,小到可以在消费级设备上跑。它的推理速度很快,预填充阶段每秒能处理 6000 个 token,生成阶段每秒 1200 个 token。这个模型是从 Gemini 的工具调用能力蒸馏出来的,相当于把大模型怎么调用 API、怎么选函数这套本事,压缩进了一个极小的模型里。模型权...

推荐理由:我会先打个折:这是 Show HN 和 GitHub 自报的数据,没有独立评测或大厂背书,所以分数没往上走。但亮点很直接——把 Gemini 的工具调用蒸馏进一个 26M 的小模型,prefill 6000 tok/s、decode 1200 tok/s,MIT 开源,意味着你可以在自己电脑甚至手机上跑一个能调工具的 agent,不用连云端。正文没披露训练用了多少样本、工具调用准确率对比基线是多少,也没说支持哪些工具类型,这些缺口让实际可用性还看不清。不过就冲这个尺寸和速度,对做本地 agent 的人来说值得看一眼。

r/LocalLLaMA

Needle:他们把 Gemini 的工具调用能力蒸馏进了一个 26M 小模型

Cactus Compute 开源了一个叫 Needle 的工具调用模型,参数量只有 2600 万。它用 Gemini 当老师,把怎么调用外部工具的能力蒸馏出来,塞进一个没有传统 MLP 层、靠注意力机制和门控结构的小模型里。在消费级设备上跑,预填充速度能到每秒 6000 个 token,解码速度每秒 1200 个 token。不过正文被 Reddit...

推荐理由:我会先打个折:目前只有一篇 Reddit 帖子作为来源,团队也不算知名,所以分数没给太高。但亮点很实在——一个 26M 的模型声称能复现 Gemini 的工具调用行为,速度数据也漂亮,prefill 6000 tok/s、decode 1200 tok/s,在消费级设备上跑。结构上做了减法,不用 MLP,只留注意力和门控,这点如果属实挺省钱。正文没披露详细的训练数据和完整的基准测试对比,所以“蒸馏效果到底多好”还得看后续验证。

5月12日星期二

AI HOT 精选

开放模型生态如何滚起雪球

作者 Nathan Lambert 从中国 AI 圈几乎全员开源的现状出发,聊了聊开放模型生态真正的省钱逻辑。核心判断是:造前沿模型的大头成本不在最终训练,而在研发试错,这部分算力开销可能占到 80%。中国各家实验室通过详细技术报告和刻意分享,相当于帮同行排了雷,避免重复烧钱做实验,形成了一种靠信息共享降低未来研发成本的复合增长。文章也指出,开源 AI...

推荐理由:这篇文章不是产品发布,而是一篇评论,核心观点是开源模型生态正在自我强化。我会先打个折:正文没披露下载量的绝对基数,200% 的环比增长到底是从 1 万涨到 3 万还是从 100 万涨到 300 万,差别很大,这点先别太激动。但它把开源模型的扩散、微调、再发布串成一个复合增长飞轮,这个框架比单纯报数字更有价值。对做模型选型和成本估算的从业者来说,这个趋势意味着国产开源模型的可用性在快速爬坡,值得关注。

机器之心 · 公众号

字节开源 DreamLite:0.39B 参数模型在 iPhone 上 3 秒出图,不用联网

DreamLite 是字节跳动开源的一个统一扩散模型,参数量只有 3.9 亿,能在 iPhone 17 Pro 上直接跑,生成或编辑一张 1024×1024 的图大约 3 秒。它靠 DMD2 蒸馏技术把推理压缩到 4 步,全程在手机本地完成,不依赖云端。正文没披露具体的显存占用和功耗数据,也没给出不同机型上的实测对比,所以“秒变画板”这个说法先打个折—...

推荐理由:字节把扩散模型压到 0.39B 参数,在 iPhone 17 Pro 上离线跑 1024×1024 生图和编辑,约 3 秒出结果,靠的是 4 步 DMD2 蒸馏把推理步数砍下来。我会先打个折:正文没披露功耗、内存占用和量化方案,也没给不同机型的对比,所以“手机秒变画板”这个说法先别太激动。但参数和实测平台都给了,比光喊口号实在。作为开源端侧方案,对在意离线、低延迟和隐私的开发者有参考价值,只是目前只有一篇 Reddit 帖子,没有论文或代码仓库链接,可信度要打个问号。

AI HOT 精选

Mira 的新公司 Thinking Machines 发了个原生多模态交互模型,前台 200 毫秒一响应,后台跑长线推理

这个模型把音频、视频、文字直接吃进去,不用再靠 agent 把一堆独立模型串起来。前台交互模型每 200 毫秒处理一次输入,保持对话的实时感,用户可以随时打断;后台推理模型负责长程规划和调工具。正文没披露具体参数量、训练数据和成本,也没给评测对比,所以实际效果和泛化能力还得看后续公开信息。

推荐理由:我会先打个折:正文没披露定价、开放范围和具体 benchmark,所以只能按现有信息给到 87。亮点在于 Thinking Machines 没有只发模型权重,而是给了一套前台 200 毫秒交互节点加后台推理的分层设计,原生多模态输入不是后期缝合的。这对正在折腾实时多模态 agent 的团队来说,至少提供了一个可参考的架构思路,但没看到代码或论文之前,不宜再往上拉。

r/LocalLLaMA

Reddit 网友实测 288 次模型调用,把本地模型输出 JSON 时的各种翻车方式全整理了一遍,还写了个修复库

Reddit 用户 kexxty 用 OpenRouter 跑了 288 次结构化输出测试,覆盖 Llama 3、Mistral、Command R、DeepSeek、Qwen 等模型,发现本地模型和纯 API 模型在 JSON 上出的错其实差不多。他把这些失败归类后,写了一个叫 outputguard 的 Python 修复库,用 MIT 协议开源。...

推荐理由:HKR 三项都成立:288 次调用不是随便跑跑,outputguard 库和 15 步修复链给了可复用的实操细节。信息源是单篇 Reddit 帖子,没有第三方验证或论文背书,所以放在 72-77 的 featured 档位,不往上走。

5月11日星期一

AI HOT 精选

菲尔兹奖得主实测 ChatGPT 5.5 Pro:17 分钟独立解决数学难题,成果够写博士论文

剑桥数学家、菲尔兹奖得主 Timothy Gowers 用 ChatGPT 5.5 Pro 做了个实验,只给简单提示,没做任何数学指导。AI 在 17 分钟内独立解决了一个加法数论公开问题,给出的构造在理论上是最优的。Gowers 判断这个成果完全够格写进博士论文。随后 AI 又在一个更难的 k 重求和集问题上,把已知上界从指数级改进到亚指数级,审阅者...

推荐理由:H、K、R 三项全中:有实名数学家、有 17 分钟出成果的具体说法、有对博士培养的警告。但正文没披露具体题目、提示词和验证路径,所以先别太激动,分数打 84 是合理的。

AI HOT 精选

OpenRouter 用真实市场需求给模型排座次,DeepSeek V4 Pro 排第一

OpenRouter 搞了个叫 Pareto Code 的排名方法,不看跑分,直接看用户在实际调用中怎么选模型,找出性价比最优的那条线。目前排第一的是 DeepSeek V4 Pro,后面跟着 GPT 5.4 Mini 和 Gemini 3.1 Pro。不过正文没披露具体怎么算分、样本量多大,所以这个排名到底多稳,我会先打个折。

推荐理由:我会先打个折:OpenRouter 只发了一篇帖子,没公布样本量、统计时间窗口和具体定价依据,所以这个排名不能当严谨评测用。但它的价值在于思路——用市场实际调用数据来反映模型性价比,比跑分更贴近真实使用场景。DeepSeek V4 Pro 排第一这点先别太激动,得看后续有没有更透明的数据支撑。整体上,这条信息对正在选模型的开发者有参考意义,但信息缺口明显,够 featured 但上不了更高分。

AI HOT 精选

AntLingAGI 放出万亿参数模型 Ring-2.6-1T,5 月 15 日前在 OpenRouter 免费用

Ring-2.6-1T 是一个万亿参数模型,主打可调“思考强度”——你可以手动控制它多想一会儿还是少想一会儿,在回答质量、token 消耗和响应速度之间自己取舍。模型专门为智能体场景做了优化,支持多步执行和工具调用,适合高频工作流。官方说它能处理数学逻辑和科研类任务,但正文没给出具体跑分或对比数据。目前通过 OpenRouter 免费开放,截止到 5 ...

推荐理由:这条发布信息量偏薄,正文没给基准测试、定价、架构或训练细节,所以重要性我打了个折,没给更高。但万亿参数这个量级本身就有话题性,加上 OpenRouter 上的限时免费,对想快速试用的开发者很友好。可调思考强度和工具调用这两点,说明它在往智能体落地靠,不是单纯刷榜的模型。整体判断是:值得关注的一次模型发布,但别急着当里程碑,等实测数据出来再说。

新智元 · 公众号

Agent 评测的下半场:为什么需要一个「活的」Benchmark?

这篇文章的正文被微信环境验证挡住了,实际内容没拿到。从标题和现有英文摘要看,它讨论的是 Claw-Eval-Live 这个基准测试,用 105 个任务测了 13 个前沿模型,表现最好的模型通过率也没超过 70%,HR 类任务平均通过率只有 6.8%。核心观点是静态评测不够用了,需要能动态更新的“活”基准来测 AI 智能体。但具体怎么个“活”法、任务怎么...

推荐理由:HKR 三项都成立:活的 benchmark 这个切入点具体,不是又一篇刷榜通稿;数据量够,105 道任务和 13 个模型的覆盖面说得过去,HR 任务 6.8% 的通过率尤其扎眼;它踩中了 Agent 从 demo 到落地之间那个“到底能不能用”的信任问题。Claw-Eval-Live 本身还没经过大规模实战检验,所以放在 featured 偏低的位置比较合适。

新智元 · 公众号

Claude Mythos 在 METR 长任务评测里拿到 50% 成功率,对应人类 16 小时的工作量

METR 的 Time Horizons 测试里,Claude Mythos 预览版在人类需要 16 小时才能完成的任务上,成功率达到了 50%。不过整个测试集一共 228 个任务,只有 5 个任务的时间跨度超过 16 小时,所以这个成绩能说明它在长任务上有进步,但样本太少,还测不出它在更长时间尺度上的真实水平。

推荐理由:我会先打个折:50% 成功率听起来很猛,但只测了 5 个超过 16 小时的任务,样本太少,不能当定论。正文自己也说更长区间样本不足。所以 2027 奇点加速这种说法先别太激动。不过这个结果确实把 AI 评测的天花板往上顶了一截,从跑分转向了按人类耗时衡量的任务,对做智能体和安全的团队有直接参考价值。整体给 82 分,因为数据有料但外推太远,不算当天必读的头条。

AI HOT 精选

本地 35B 模型扛下作者一半日常工作,响应速度是云端 Claude Opus 4.5 的两倍

作者用五周时间测了约 1400 个日常工作请求,发现本地跑的 Qwen 3.6 35B 这类模型能搞定其中一半,平均响应 2.8 秒,比云端 Claude Opus 4.5 的 5.8 秒快了 2.1 倍。像邮件草拟、日程安排、摘要和行政杂活这些任务,本地模型完全够用;市场调研和工程类任务则是对半开,简单查数据、修脚本可以本地跑,复杂的多源分析和架构决...

推荐理由:Tom Tunguz 拿本地35B模型做了五周实验,跑了约1400项日常工作任务,成功处理约一半,平均响应2.8秒,比Claude Opus 4.5快2.1倍。这个结果对从业者来说很实在:不是模型发布,也不是平台级更新,但给出了本地模型在延迟和成本上替代云端模型的一个具体参照点。我会先打个折——正文没披露任务类型分布和失败案例的具体原因,所以50%成功率不能直接当通用结论用。但速度对比和实验规模足够让关注推理成本和隐私的人认真看一眼。

r/LocalLLaMA

MTP 实测:写代码能加速 71%,写小说反而变慢 9%,任务类型决定投机推理是帮忙还是帮倒忙

一位 Reddit 用户用 Qwen 3.6 27B 的 MTP 量化模型跑了 300 多次测试,发现投机推理(让模型先猜后验证)的效果完全看任务类型。写代码时草稿被采纳的比例高达 79% 到 89%,用 F16 精度跑代码生成速度提升了 171%;但换成创意写作,Q4_K_M 量化下推理速度反而慢了 9%。结论很直接:别只看模型和量化,先看你要让模型...

推荐理由:我会先打个折:这只是 Reddit 上一个用户的单次实验,不是官方基准,但 300 多次测试把投机推理的任务依赖性讲得很清楚。编码任务接受率高、加速明显,创意写作接受率低、反而变慢,这个结论对本地跑模型的开发者有直接参考价值。正文没披露测试硬件和具体 prompt,但数据量够大,可以先信一半。

5月9日星期六

AI HOT 精选

Redis 作者用几千行 C 代码把 DeepSeek V4 Flash 塞进 MacBook,跑出 27 tok/s

Antirez 开源了一个叫 ds4 的推理引擎,专门给 DeepSeek V4 Flash 用。代码只有几千行 C,能在 128GB 内存的 MacBook Pro 上跑 100 万 token 上下文的模型。他用了三招:对 MoE 专家做不对称 2-bit 量化来压缩模型体积;把 KV Cache 搬到高速 SSD 上,绕开内存不够的问题;再给苹果...

推荐理由:Antirez 开源了一个叫 ds4 的原生推理引擎,几千行 C 代码,在 128GB 内存的 MacBook Pro 上跑 DeepSeek V4 Flash,1M 上下文实测跑到 27 tok/s。我会先打个折,这个速度是在特定硬件和模型上跑出来的,换台机器不一定能复现,但至少证明了不用显卡也能把大模型跑起来。正文没披露量化精度和功耗,这点先别太激动。整体看,这是一个很强的开源推理信号,对关注本地部署和隐私的团队有参考价值。

r/LocalLLaMA

用 12GB 显存跑 Qwen3.6 35B A3B,llama.cpp MTP 实测跑到 80 tok/s、128K 上下文

Reddit 用户 janvitos 在 RTX 4070 Super(12GB 显存)上跑 Qwen3.6-35B-A3B-MTP-GGUF,搭配 llama.cpp 的一个 MTP 拉取请求。他贴出的实测数据是每秒 69.2 到 81.9 个 token,草稿接受率在 0.694 到 0.947 之间,上下文长度拉到 131072。关键设置是 -f...

推荐理由:这条帖子是单用户实测,不是官方数据,验证强度有限,但数字和配置都摆出来了,可复现。对想在家用显卡上跑长上下文模型的人来说,是个很具体的参考点。我会先打个折,毕竟只有一个人晒结果,但 12GB 显存跑 35B 还能 80 tok/s,这点确实让人想试试。

AI HOT 精选

百度发了 ERNIE 5.1,参数量砍到原来的三分之一,训练费压到同规模模型的 6%

ERNIE 5.1 把总参数量压到原规模的大约三分之一,激活参数压到大约一半,预训练成本只花到同规模模型的 6% 左右。百度说性能没崩,Agent 能力超过 DeepSeek-V4-Pro,世界知识和创意写作接近头部闭源模型和 Gemini 3.1 Pro,推理仅次于 Gemini 3.1 Pro,深度搜索排全球第四。技术手段提了两个:弹性预训练用来提...

推荐理由:百度把 ERNIE 5.1 的参数和成本压到这个程度,我会先打个折——正文没披露具体参数量和基准测试细节,6% 的成本对比对象也没说清楚,这点先别太激动。但即便有水分,三分之一参数、一半激活、6% 预训练成本这三个数字摆出来,对正在头疼推理成本的团队来说就是强信号。加上已经上线 ERNIE 平台和 AI Studio,不是画饼,值得写。

AI HOT 精选

百度发 ERNIE 5.1,预训练成本压到对标模型的 6%

百度在 ERNIE 5.0 的基础上做了 5.1,主要提升搜索、推理、知识问答、创意写作和智能体能力。最抓眼球的数字是预训练成本只有对标模型的 6%,但正文没披露对标的是谁、怎么算出来的,也没给具体金额或技术细节。我会先打个折——成本低到这个程度,要么是用了 5.0 的底子省了大笔算力,要么是统计口径有讲究。另外,模型在哪些基准上测了、效果提升多少,帖...

推荐理由:百度发了ERNIE 5.1,最抓人的一句话是“预训练成本约为对标模型的6%”。这个数字让一条模型更新变成了成本效率的故事,从业者会立刻想知道对标模型是谁、成本口径怎么算的,正文没展开说,所以冲击力有,但信息缺口也大。搜索、推理、问答、写作和智能体能力都提了升级,但没给具体评测或对比数据,技术细节偏薄。我会先打个折:话题性够强,靠成本数字和国产旗舰身份撑到了p1,但缺细节让它进不了90分以上的档位。

新智元 · 公众号

港中文开源 ArbiterOS:在模型动手前先拦一刀,高危操作拦截率拉到 92.95%

港中文 CURE 实验室把 ArbiterOS 开源了,这是一个给 AI 智能体(Agent)用的运行时治理内核。它的思路很直接:不让模型直接拿到执行权,而是在模型生成操作指令后、系统真正执行前,插一层拦截、解析、治理和观测。在 OpenClaw 的安全测试任务上,这套机制把高危步骤的拦截率从原来的 6.17% 提到了 92.95%。正文没披露具体延迟...

推荐理由:这篇不是大厂模型发布,是港中文 CURE Lab 的一个开源 agent 安全内核。我会先打个折,因为目前只在 OpenClaw 一个环境上测过,泛化性还没验证。但它的切入点很巧——不是事后审核,而是运行时拦截高危步骤,把拦截率从 6.17% 拉到 92.95%,这个提升幅度够大,说明原来的 agent 几乎不设防。对做 agent 安全或工具调用治理的人来说,这是个能直接拿来改的参考方案。信息量够,数字有解释,没有吹概念,所以放在 featured 档,重要性给 80 是合适的。

机器之心 · 公众号

港科大和社区开源了 StarVLA,一个框架把主流视觉-语言-动作模型串了起来

StarVLA 把 VLA(视觉-语言-动作模型)里常用的主干网络、动作输出头、训练策略和评测接口都做成了可插拔的模块,不用再为不同论文各搭一套代码。仓库在 GitHub 上已经拿到 2.2k 星,支持的基准包括 LIBERO、SimplerEnv、RoboTwin 2.0、RoboCasa-GR1 和 BEHAVIOR-1K。正文没披露具体训练成本和...

推荐理由:我会先打个折:StarVLA 目前是框架级发布,不是新模型,所以权重不会给到模型首发那么高。但它的价值很实在——把多种 VLA 架构塞进同一套接口,训练和评估不用再东拼西凑,2.2k star 说明社区已经用脚投票了。正文没披露框架内各方法的横向对比数据,这点先别太激动,但统一工具这件事本身对机器人方向的工程效率提升是实打实的。

AI HOT 精选

Claude Mythos 预览版风险时间距评估:50% 任务完成时间至少 16 小时

METR 在 2026 年 3 月的一个短暂窗口里,对 Claude Mythos 的早期预览版做了风险评估。他们用一套任务测下来,模型有 50% 概率能独立完成的任务,所需时间至少是 16 小时,95% 置信区间在 8.5 到 55 小时之间。这个数字已经碰到了 METR 现有任务能测出的上限,也就是说,再长他们就测不准了。正文没披露具体是什么任务、...

推荐理由:METR 在 2026 年 3 月拿 Claude Mythos Preview 早期版做了有限窗口评估,测出一个 50% 时间范围至少 16 小时,95% 置信区间 8.5 到 55 小时。我会先打个折:这只是单次评估、早期版本,窗口也有限,别直接当最终结论。但“16 小时”这个数字本身够直接,说明模型在长时间自主任务上已经能跑一阵子了,安全团队得盯紧。正文没披露具体任务类型和失败模式,这点信息缺口让判断只能停在信号层面。

5月8日星期五

r/LocalLLaMA

Gemma 4 26B 在单张 RTX 5090 上跑到每秒 600 token

chain-77 用 vLLM 0.19.2rc1 测了 Gemma 4 26B,开了 DFlash 投机解码后,单张 RTX 5090 的输出吞吐从每秒 228 token 跳到 578 token。测试条件是输入 256 token、输出 1024 token、并发数 1、投机 token 数设为 13。这个速度意味着本地跑 26B 模型已经可以做...

推荐理由:这条帖子本身是单次测试,没对比其他卡或并发场景,所以我会先打个折。但一张消费级显卡把 26B 模型输出速度翻了一倍多,这个提升幅度够实在,而且给了可复现的版本号和参数,对想在家跑大模型的人有参考价值。

r/LocalLLaMA

单张 4090 跑出 11.67%:TOPAS 递归架构在 ARC-AGI-2 上的本地测试结果

Doug_Bitterbot 用一张 RTX 4090 训练了大约 14 天,让 TOPAS 模型在 ARC-AGI-2 抽象推理测试上拿到了 11.67% 的分数。这个模型只有 1 亿参数,本地跑分最高到过 36%,但它的递归测试时训练(TTT)机制在 Kaggle 的题目上出了问题,将近一半的谜题直接输出空结果。作者觉得调一下阈值、再训 3 到 5...

推荐理由:Doug_Bitterbot 在 Reddit 上发了个帖子,说他的 TOPAS 架构在 ARC-AGI-2 公榜拿了 11.67%,跑在一张 RTX 4090 上,训练大概花了 14 天。模型参数约 100M,本地 checkpoint 能到 36%,但 Kaggle 提交时因为递归 TTT 超时,近一半题目输出空数组,分数被拉低。作者自己预期调一下阈值能到 20%,还说 3-5 周后再训完。这事有意思的地方在于,它只用输入图片来决定怎么压缩视觉 Token,多轮 VQA 里能砍掉 90% 的 Token,正文说精度不掉。不过目前只有一篇帖子,K...

5月7日星期四

AI HOT 精选

商汤 SenseNova-U1 开源 8 步蒸馏 LoRA,扩散模型推理从 23 秒压到 2 秒

商汤把扩散模型常用的 100 步生成流程蒸馏到只剩 8 步,GPU 上跑一张图从 23 秒降到 2 秒,快了 11 倍。做法是训了一个 LoRA 权重,直接挂到模型上就能用,不用改原模型结构。配套给了 ComfyUI 工作流,覆盖文生图、改图和交错生成。正文没提具体画质对比和什么显卡跑的,这点先别太激动。核心信号不是参数堆得多大,而是用蒸馏换延迟,让扩...

推荐理由:我会先打个折:这只是图像生成领域的推理加速,不是通用模型突破,所以放在featured而不是P1。但它的钩子很实在——用8步蒸馏LoRA把扩散模型从100步砍到8步,GPU推理从23秒压到2秒,还直接支持ComfyUI。对干活的人来说,这意味着同样的卡能多跑十几倍的图,或者低配机器也能玩。正文没披露蒸馏用了多少样本、LoRA参数量多大,这点先别太激动,但开源这一步本身就让验证成本很低。

OpenAI News

OpenAI 在 API 里上线了三款实时语音模型,能边听边推理、翻译和转写

OpenAI 这次发了三个新模型:GPT‑Realtime‑2 是带 GPT‑5 级推理能力的语音模型,能处理更复杂的请求,说话中间可以插话、改主意,它还能边想边回一句“我查一下”,同时调用多个工具;GPT‑Realtime‑Translate 做实时翻译,支持 70 多种输入语言转 13 种输出语言,语速跟得上说话人;GPT‑Realtime‑Whi...

推荐理由:OpenAI 官方放出了语音 API 更新,方向明确但信息不全。能推理、翻译、转写,听着挺全,可没给价格、没给延迟、没给上下文限制,我会先打个折。如果是真的省钱又低延迟,那对语音应用开发者是直接利好;现在只能说方向对了,落地还得等更多参数。

机器之心 · 公众号

SWE-Bench 作者出新基准 ProgramBench,Claude、GPT、Gemini 全拿零蛋

这个新基准让模型从零复刻完整软件项目,只给可执行文件和说明文档,不给源码和测试。评测不看单函数写得对不对,而是用模糊测试跑行为一致性,看整个系统能不能用。结果 Claude Opus 4.7、GPT-5.4、Gemini 3.1 Pro 全部零完成率,一个都没跑通。这说明现在的模型离独立做系统工程还差得远,之前靠刷单函数题拿高分那套在这不管用。

推荐理由:我会先打个折:这只是单个基准测试报告,不是模型或产品发布。但 0% 的完成率太刺眼,而且测试设计很刁——只给可执行文件和说明文档,让模型从零重建项目,再用行为等价和 agent-driven fuzzing 判分。正文没披露样本量和任务难度分布,这点先别太激动。真正值得盯的是它把评测从函数级代码生成拉到了系统级工程能力,这对做 coding agent 的团队是个实打实的压力测试。

r/LocalLLaMA

Reddit 实测:双卡跑大模型,PCIe 带宽可能没你想的那么吃紧

用户 ziphnor 用两张 RTX 5060 Ti 16GB 跑 vLLM,开启张量并行(TP=2)处理 32k 上下文预填充。实测 PCIe 峰值带宽只跑到 3–4 GB/s,大约占满一条 PCIe 4.0 x4 通道的 40%–50%。预填充速度在不同设置下分别达到约 840–850、1500 和 1600–1700 tokens/s。帖子没提解...

推荐理由:这篇 Reddit 实测值得一看,因为它用具体数字回应了一个常见焦虑:双卡跑大模型,PCIe 带宽到底够不够。ziphnor 拿 2 张 RTX 5060 Ti 16GB 在 vLLM 里开张量并行,32k 上下文预填充时 PCIe 峰值只有 3–4 GB/s,就算把链路砍到 PCIe 4.0 x4,实际也只用了 40–50% 的带宽。三组模型的预填充速度分别约 840–850、1500、1600–1700 tokens/s,说明瓶颈不在 PCIe 线速上。我会先打个折:正文没披露解码阶段的带宽,那才是持续通信的大头,这点先别太激动。真正该盯的是张...

r/LocalLLaMA

Reddit 网友扒了 922 条 agent 任务记录,发现 DeepSeek v4 省钱的关键不在标价,在缓存命中率

一位 Reddit 用户分析了 922 条 agent 任务的实际调用记录,对比了 DeepSeek v4 Flash 和 Opus 4.7 的花费。两个模型每个任务都要吃掉大约 96 万 token,但 DeepSeek 单任务成本只要 0.01 美元,Opus 4.7 却要 1.52 美元。差距不在输入输出的标价,而在缓存:DeepSeek 的缓存...

推荐理由:这篇不是比谁模型强,是比谁缓存用得聪明。Reddit用户跑了922条智能体任务轨迹,发现DeepSeek v4 Flash单任务成本0.01美元,Opus 4.7要1.52美元,差了152倍。两边平均token消耗都接近96万,但DeepSeek缓存命中率97%,Opus只有87%;更关键的是缓存读写价格比,DeepSeek是0.02,对方是0.08。也就是说,标价看着便宜不算真便宜,能把重复计算省下来才是省钱的地方。正文没披露任务类型和采样方式,这点先别太激动,但缓存机制这个观察本身值得盯。

5月6日星期三

r/LocalLLaMA

单张 RTX 5090 跑通 Qwen3.6 27B:NVFP4 量化加 MTP 投机解码,200k 上下文实测 73.6 tok/s

一位 Reddit 用户在单张 32GB 显存的 RTX 5090 上,用 vLLM 跑通了 Qwen3.6 27B 的 NVFP4 量化版,并验证了 200k 上下文长度。配置上用了 fp8_e4m3 的 KV 缓存、FlashInfer 和 3 个投机 token 的 MTP。10 次 200k 上下文跑分平均生成速度 73.6 tok/s,首 t...

推荐理由:我会先打个折:来源是 Reddit 用户自测,不是官方报告,但配置和日志都贴出来了,可复现性不低。真正值得盯的是显存边界——KV 缓存占了 8.3GiB,整卡吃到约 30478MiB,几乎榨干 32GB。这说明 NVFP4 量化确实把 27B 模型压进了消费级显卡,而且 200k 上下文不是摆设,十次都跑稳了。不过 TTFT 70 秒意味着首 token 要等一分多钟,实际用起来体验会打折扣。这点先别太激动,等更多卡型验证。

r/LocalLLaMA

一个用公司内部数据测 RAG 的开放基准,模拟了 9 种数据源和 10 类检索失败模式

EnterpriseRAG-Bench 放出了一个 50 万文档的语料库,专门用来测 RAG 在公司内部数据上的表现。它模拟了 Redwood Inference 的 9 种数据源,并围绕 10 种检索失败模式设计了 500 个问题。基线测试显示,BM25 在整体上优于向量检索,而基于 agent/bash 的检索方式虽然完整度最高,但成本和延迟也明显更高。

推荐理由:HKR 三项都站得住:基准瞄准了企业 RAG 的真实痛点,50 万文档加上 BM25 反直觉的结果有话题性。不过来源只有一篇 Reddit 发布帖,信息密度还不到当天必写的程度,所以放在 featured 里。