模型到底谁强：Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。
一位 Reddit 用户分析了 922 条 agent 任务的实际调用记录，对比了 DeepSeek v4 Flash 和 Opus 4.7 的花费。两个模型每个任务都要吃掉大约 96 万 token，但 DeepSeek 单任务成本只要 0.01 美元，Opus 4.7 却要 1.52 美元。差距不在输入输出的标价，而在缓存：DeepSeek 的缓存...
推荐理由：这篇不是比谁模型强，是比谁缓存用得聪明。Reddit用户跑了922条智能体任务轨迹，发现DeepSeek v4 Flash单任务成本0.01美元，Opus 4.7要1.52美元，差了152倍。两边平均token消耗都接近96万，但DeepSeek缓存命中率97%，Opus只有87%；更关键的是缓存读写价格比，DeepSeek是0.02，对方是0.08。也就是说，标价看着便宜不算真便宜，能把重复计算省下来才是省钱的地方。正文没披露任务类型和采样方式，这点先别太激动，但缓存机制这个观察本身值得盯。
一位 Reddit 用户在单张 32GB 显存的 RTX 5090 上，用 vLLM 跑通了 Qwen3.6 27B 的 NVFP4 量化版，并验证了 200k 上下文长度。配置上用了 fp8_e4m3 的 KV 缓存、FlashInfer 和 3 个投机 token 的 MTP。10 次 200k 上下文跑分平均生成速度 73.6 tok/s，首 t...
推荐理由：我会先打个折：来源是 Reddit 用户自测，不是官方报告，但配置和日志都贴出来了，可复现性不低。真正值得盯的是显存边界——KV 缓存占了 8.3GiB，整卡吃到约 30478MiB，几乎榨干 32GB。这说明 NVFP4 量化确实把 27B 模型压进了消费级显卡，而且 200k 上下文不是摆设，十次都跑稳了。不过 TTFT 70 秒意味着首 token 要等一分多钟，实际用起来体验会打折扣。这点先别太激动，等更多卡型验证。
EnterpriseRAG-Bench 放出了一个 50 万文档的语料库，专门用来测 RAG 在公司内部数据上的表现。它模拟了 Redwood Inference 的 9 种数据源，并围绕 10 种检索失败模式设计了 500 个问题。基线测试显示，BM25 在整体上优于向量检索，而基于 agent/bash 的检索方式虽然完整度最高，但成本和延迟也明显更高。
推荐理由：HKR 三项都站得住：基准瞄准了企业 RAG 的真实痛点，50 万文档加上 BM25 反直觉的结果有话题性。不过来源只有一篇 Reddit 发布帖，信息密度还不到当天必写的程度，所以放在 featured 里。
Salesforce 的 CEO Marc Benioff 放话，因为 Agentforce 这个 AI 销售代理业务增长太猛，公司打算新招 1000 名应届生或实习生。Agentforce 的年化经常性收入涨了 169%，干到了 8 亿美元。新招的人主要干四件事：写提示词、做效果评估、盯着代理干活别出岔子、以及把项目交付落地。说白了，初级岗位的活儿变...
推荐理由：这条消息我会先打个折——招 1000 人听着多，但正文没披露是净增还是含离职补缺，也没说这 1000 人里多少是销售交付、多少是技术岗。不过 Agentforce 年化收入 8 亿、同比增 169% 这两个数确实说明 Salesforce 在 agent 产品上下了重注，不是 PR 吹风。对想入行的应届生来说，真正值得盯的不是“招人”本身，而是岗位描述里提到的 prompt 流程、evals 和 agent 监督——这些才是 agent 时代的新基础技能，比传统搬砖岗更有长期价值。
两家公司把合作又推了一步，这次是让 AI 代理直接在你的电脑桌面上干活。这个叫 Project Arc 的东西，通过 Action Fabric 连接企业软件，再用 OpenShell 建一个带权限管控的沙盒环境来执行操作，防止乱来。文章里还提了一嘴 Blackwell 芯片的能效：每瓦输出的 token 数是上一代 Hopper 的 50 多倍，每百...
推荐理由：我会先打个折：这就是两家大厂合作发了个桌面 agent 产品，正文没披露实际客户和上线时间，别当成立竿见影的东西。但里面几个信息值得看——Action Fabric 负责把 agent 接进 ServiceNow 的业务流程，OpenShell 在沙箱里跑任务，权限和策略都框死了，不是裸奔。Blackwell 的能效数字挺夸张，每瓦 token 数是 Hopper 的 50 倍以上，百万 token 成本低了近 35 倍，如果实测能兑现，跑企业 agent 的算力账单会好看很多。这点先别太激动，毕竟还是纸面数据。整体属于有机制、有经济账、但缺实证的...
ChatGPT 把免费用户和 Plus 用户的默认模型换成了 GPT-5.5 Instant。OpenAI 内部测试显示，在容易出高风险幻觉的提示上，它比上一代 GPT-5.3 Instant 的瞎编次数少了 52.5%；在被标记为“难聊”的对话里，不准确的说法也降了 37.3%。不过正文没披露测试集到底有多大，也没说这些“高风险提示”具体怎么定义的，...
推荐理由：OpenAI 把 ChatGPT 默认模型换了，还主动报了两个幻觉下降的数字，热点、新知、关联度都够。不过正文没给评测集规模和复现方法，我会先打个折——数字好看，但暂时没法独立验证。默认模型换人本身就是当天该推的料，所以还是给了 p1。
这篇帖子介绍了一个新基准 ProgramBench，包含 200 个任务，专门考 AI 智能体能不能只靠一个可执行文件和一份使用说明，就把整个程序从零重新写出来。测试过程不允许联网、不允许反编译，相当于给 AI 一个黑盒子，让它猜里面是怎么实现的。团队花了大概 5 万美元生成了 600 万行行为测试用例，再筛出质量最好的来用，这些测试只看程序的外部行为...
推荐理由：这篇东西我会先打个折：它来自 Reddit，没有其他独立信源交叉验证，所以别当定论看。但它的信息量够硬——ProgramBench 用 200 个任务、约 5 万美元生成了 600 万行黑盒测试，让 Agent 只看可执行文件和说明文档去重建程序，还不准联网、不准反编译。结果就是 Agent 基本搞不定，这直接质疑了现在编程 Agent 评测（比如 SWE-bench）到底测的是真本事还是背题库。对从业者来说，这提醒我们别被榜单分数带偏，实际让模型进业务流程干活之前，得先看看它在“闭卷、无网、大工程”这种真实约束下会不会翻车。
Heretic 1.3 这个版本主要干了三件事。第一，它现在能把跑模型时的环境——PyTorch 版本、GPU 型号、驱动、加速库这些——都打包记录下来，别人照着做就能复现结果，不用再猜“为啥我跑出来不一样”。第二，它内置了一套跑分系统，直接用 lm-evaluation-harness 测 MMLU、EQ-Bench、GSM8K 和 HellaSwa...
推荐理由：我会先打个折：正文没给出 VRAM 具体降了多少，这点先别太激动。但 Heretic 这次更新确实踩到了两个实在需求——一是让模型运行环境可复现，把 PyTorch、GPU、驱动版本都记下来，方便排查问题；二是内置了 lm-evaluation-harness 基准测试，不用再自己搭评测流程。项目有 2 万星、1300 万次下载，社区验证度够高。缺憾是 VRAM 优化只提了方向没给数字，所以重要性停在 72 分，放在 featured 里合适。
Hugging Face 的后训练团队花了一个月，用 verifiers、OpenEnv、Nemo-Gym、OpenRewards 等几套框架分别搭了强化学习环境，然后实际训模型来看哪种方案在扩展时更顺手。他们把这个过程做成了交互式指南，方便你点进去对比。不过正文没给出具体的基准分数、模型规模或训练成本，所以没法判断哪套方案效果更好或更省钱，目前更像一...
推荐理由：我会先打个折：正文没给具体基准分数、模型规模和训练成本，所以没法判断哪个框架真的更省钱或更稳。但 Hugging Face 花一个月亲自下场踩坑，把不同 RL 环境框架的差异和扩展轴摆出来，对正在搭训练流程的团队有实操参考价值。这点先别太激动，等他们把量化结果补上才算完整。
三家大模型公司跟美国政府的 AI 标准与创新中心（CAISI）达成了协议，以后新模型在公开前会先交给 CAISI 跑一遍评估。CAISI 说从 2024 年到现在已经审了 40 个模型，但这次公告没提具体审了哪些模型、审多久、审完能不能卡发布。我会先打个折：这更像是一个流程上的公开表态，实际约束力要看后续审查范围和发布时间线怎么定，正文没披露这些细节。
推荐理由：Google DeepMind、Microsoft 和 xAI 都点头让 CAISI 在公开发布前审新模型，CAISI 自称 2024 年起已完成 40 次审查。我会先打个折：正文没披露具体审了哪些模型、审查标准是什么、会不会卡发布。真正值得盯的是审查边界和发布节奏，而不是单次合作公告。
OpenAI 放出了 GPT-5.5 Instant 的系统卡，确认了模型代号是 gpt-5.5-instant。这篇公告主要是定性说明，没有给出具体的评测分数、上下文窗口大小或发布时间。值得留意的是，这是 Instant 系列里第一次在网络安全、生物与化学武器制备这两个风险类别上被提升到“高能力”等级，并配套了相应的安全防护措施。OpenAI 还特别...
推荐理由：我会先打个折：这张系统卡目前只有一个标题，正文什么都没披露。H 和 R 能过，是因为 OpenAI 官方放出 GPT-5.5 Instant 这个名字本身就够抓眼球，从业者会关心它跟现有模型的定位差异和价格。但 K 完全站不住——没有跑分、没有安全测试结果、没有上下文长度，连发布时间都没提，等于只有个壳。这点先别太激动，等后续有实际数据再重新评估。
一位 Reddit 用户用 15 个模型、7 种攻击方式跑了 6100 多次提示注入测试。核心做法是把不可信文档用一长串随机分隔符包起来，再配上严格指令。Gemma 4 E4B 的防御率直接从 21.6% 拉到 100%。这个基准的指标很实在，只看“拦截成功数除以（拦截成功数+拦截失败数）”，可复现。正文没披露其他模型的具体分数，也没说攻击样本怎么构造...
推荐理由：我会先打个折：这是单个 Reddit 用户发布的基准，不是机构报告，但实验设计很实在。核心发现是用长随机分隔符把不可信文档包起来，再在系统提示里硬性要求模型只当数据读，Gemma 4 E4B 的防御率直接从 21.6% 拉到 100%。防御率定义是 blocked/(blocked+failed)，这点交代得清楚。正文没披露攻击样本的具体构造和失败案例的细节，所以别急着当通用结论，但作为可复现的工程思路，对做 agent 和 RAG 的人有直接参考价值。
Reddit 上有人发帖说，DeepSeek V4 Pro 在一个叫 FoodTruck Bench 的智能体评测里排到第四，中位数得分跟 GPT-5.2 只差 3%，但跑一轮任务的成本大概是后者的十七分之一。这个评测跑了 30 天，模型要用 34 种工具、带持久记忆、每天还得做反思，比较贴近真实业务流程。帖子还提到小米的 MiMo v2.5 Pro ...
推荐理由：这篇是一个 Reddit 用户自己搭的 benchmark 结果，不是官方发布，所以我会先打个折。但内容本身挺有意思：DeepSeek V4 Pro 在一个叫 FoodTruck Bench 的 30 天 agent 测试里排第 4，跟 GPT-5.2 的中位数只差 3%，API 成本却低了大约 17 倍。测试用了 34 个工具、持久记忆和每日反思，不是简单的一问一答。小米 MiMo v2.5 Pro 也进了前 6，5 次全存活，中位 ROI 1019%，单次跑完只要 $2.41。正文没披露样本量和方差，所以“匹配 GPT-5.2”这个结论先别太激...
卡内基梅隆大学的研究员扫了 2019 年 7 月到 2024 年 12 月的 GitHub 活动日志，用他们开发的 StarScout 工具揪出约 600 万次疑似刷星行为，涉及 18617 个仓库和 301000 个账号。刷星价格低到离谱，1 美元就能买 10 颗星。这些假星不只是虚荣指标，供应链风险很实在：GitHub 已经删掉了被标记仓库里的 9...
推荐理由：我会先打个折：这不是模型或平台发布，所以重要性停在80分。但选题很准，CMU团队用StarScout扫了五年多的GitHub事件，揪出大量假星和关联账户，2024年7月热门收星仓库里16.66%涉假。真正让人警惕的是后续风险——涉事仓库九成已被GitHub删掉，剩下在线的样本里约30%仍是垃圾、钓鱼或恶意软件。对从业者来说，这比单纯刷星更值得盯，因为选错一个依赖就可能中招。
Anthropic 联合创始人 Jack Clark 给了个时间点：到 2028 年底，AI 脱离人类独立做研发的概率超过 60%。他拿几个基准测试当证据——Claude Mythos Preview 在软件工程测试 SWE-Bench 上跑到 93.9%，Opus 4.5 在评估 AI 复现研究能力的 CORE-Bench 上拿到 95.5%。Cla...
推荐理由：我会先打个折：标题里的“自我进化”和“没有人类了”是媒体写法，Clark 原文说的是无人类参与的 AI 研发概率，不是奇点降临。但他作为联创，拿内部模型跑出来的基准分来押 2028 这个时间点，分量不一样。SWE-Bench 93.9% 说明代码修 bug 这类短任务已经很高，CORE-Bench 95.5% 测的是复现论文的工程能力，真正该盯的是 MLE-Bench 和 PostTrainBench——这两个才碰得到长周期、需要自己调参和做后训练的任务，目前正文没给具体分数，这点先别太激动。整体看，他是在用基准曲线推 timeline，不是纯拍脑...
robert896r1 把 Qwen3.6 27B 的 GGUF 量化版放在 Codex 旁边当代码校验器，并放出了一套可复现的评测流程。测试覆盖了 Bartowski 和 Unsloth 两种量化来源、65k 和 128k 上下文窗口，以及 q8 和 f16 的 KV 缓存精度。三个 128k 上下文的配置并列最佳，在这个评测套件里没测出 q8 KV...
推荐理由：我会先打个折：这不是官方发布，是一个个人实测套件，样本量和覆盖面有限。但它的价值不在权威性，而在把 Qwen 塞进一个贴近真实开发的 sidecar eval 里——测的是漏指令、过度实现、UI 判断和长上下文遗漏，不是跑分。三个 128k profile 并列最佳，q8 KV 没翻车，这点对想省显存的人挺实用。正文没披露 Codex 的具体版本和调用方式，也没给错误分布，所以别当严谨 benchmark 用，更适合当一份本地部署的参考起点。
Reddit 有人拿 DGX Spark 和 M3 Ultra 在 llama.cpp 里跑分，统一用 pp16384 上下文。Spark 比 M3 Ultra 快 1.4 到 3.4 倍，看模型：Qwen 27B 跑到 778 token/秒，M3 Ultra 是 340；Mistral 128B 跑到 241，M3 Ultra 只有 72。有个调参...
推荐理由：数据来自 Reddit 单帖，权威性打折扣，但测试设置清楚、模型覆盖广、提速幅度直观，对正在掂量买 M3 Ultra 还是 DGX Spark 跑本地推理的人有参考价值。我会先打个折，因为没看到多轮对话或长上下文压力测试，但就当前信息来说，featured 低空过关没问题。
Jack Clark 根据公开数据做了一个判断：到 2028 年底，不需要人类插手的 AI 研发有超过 60% 的概率会出现。他主要拿两个指标说事。一个是 SWE-Bench，这个测试看 AI 能不能解决 GitHub 上的真实代码问题，Claude 2 当初得分大概 2%，现在 Claude Mythos Preview 已经干到 93.9%，基本把...
推荐理由：HKR 三项全中。Jack Clark 用 SWE-Bench 和 METR 的数据撑起一个 2028 年全自动 AI 研发的赌注，属于知名人物对 AI 时间线的判断，放在 85–94 分档合适，比模型发布的分量低一点。
一位 Reddit 用户用 4 张 RTX 3080 20GB 显卡跑了两个大模型。Mistral Medium 3.5 128B 在 llama.cpp 里把张量拆分（tensor split）打开后，生成速度从每秒 10.37 个 token 翻倍到 21.59。但 Qwen 3.5 122B A10B 这个混合专家模型（MoE，把任务分给不同子模...
推荐理由：HKR 三项全中。4×RTX 3080 这个配置本身就是个好钩子，帖子给了 llama.cpp 和 vLLM 下两组实打实的吞吐变化，不是空谈。Mistral 张量切分后速度翻倍，Qwen MoE 反而降速，这个对比把并行策略对 MoE 架构的差异暴露得很清楚。不过数据来自 Reddit 单次跑分，没交代精度和上下文长度，所以分数压在 72–77 这个区间，不往上拔。
Google DeepMind 搞了个叫 Aletheia 的流程，拿 Gemini Deep Think 去啃 700 道 Erdős 数学猜想。流程是先让模型生成 200 个候选答案，再用验证器筛到 63 个，最后产出 13 个原创解答。乌龙出在 Erdős-75 这道题上：题干本身就有问题，但 Aletheia 没发现，照样洋洋洒洒推导了几十页。...
推荐理由：我会先打个折：文章本身是媒体转述，原始论文细节得去看 arXiv，正文没披露验证器的具体设计和人类专家的复核标准。但选题确实抓人——一个题干有误的 Erdős-75 问题，AI 照样输出几十页证明，这比单纯报 benchmark 分数更能让人停下来想一下推理可靠性。700 个问题、13 个原创答案、200 到 63 的筛选管线，这些数字把流程讲清楚了，不是空泛的“AI 做数学”。对从业者来说，验证器能筛掉什么、筛不掉什么，才是真正关心的，文章至少把这个问题摆到了台面上。