跳到正文

#评测/基准

今日 1 条

5月1日星期五

机器之心 · 公众号

有人用 API 猜出了 GPT、Claude、Gemini 的参数量,社区吵翻了

Bojie Li 在 arXiv 发了篇论文,用黑盒 API 调用去估算 27 家厂商 188 个模型的参数量。方法叫 IKP,靠 1400 道按生僻程度分了 7 档的题,先在 89 个已知参数量的开源模型上拟合,拟合度 R² 到 0.917。

推荐理由:Bojie Li 用黑盒 API 调用估算 27 家厂商 188 个模型的参数量,方法先在 89 个已知开源模型上拟合到 R² 0.917,社区对结论争议不小。

r/LocalLLaMA

32 块 AMD MI50 老卡跑 Kimi K2.6 模型,生成速度 9.7 token/秒

Reddit 用户 ai-infos 用 32 块 AMD MI50 32GB 显卡(分两台机器,每台 16 卡,走 10G 网线)跑 Kimi K2.6 的 int4 量化版。处理 1.4 万多字的输入时,预处理速度能到 264 token/秒;生成 136 个字的回答时,速度掉到 9.7 token/秒。

推荐理由:Reddit 用户用 32 块二手 AMD MI50 32GB 显卡分两台机器跑 Kimi K2.6 的 int4 量化版,实测预处理 264 token/秒、生成 9.7 token/秒,为低成本自建推理集群留下一组硬件与网络配置数据。

r/LocalLLaMA

Qwen3.6-27B 在单张 RTX 3090 上跑到 21.8 万上下文,工具调用也稳了

一位 Reddit 用户用一张 24GB 显存的 RTX 3090 跑 Qwen3.6-27B(一个 270 亿参数的模型),把上下文窗口推到了约 21.8 万个 token,生成速度在每秒 50 到 66 个 token 之间。

推荐理由:一位 Reddit 用户用单张 24GB 的 RTX 3090 把 Qwen3.6-27B 的上下文推到约 21.8 万 token,生成速度每秒 50 到 66 个 token,并修复了工具调用的显存溢出问题。

r/LocalLLaMA

RTX 5080 16GB 跑长上下文编程:Qwen3.6-35B-A3B 在 128K 窗口下稳在 30 t/s,刚启动时能到 89 t/s

一位 Reddit 用户用 RTX 5080 16GB 显卡本地跑编程 agent,测了 Qwen3.6-35B-A3B 这个 MoE 模型(总参数 35B,每次激活 3B)。刚加载完上下文时速度有 89 t/s,等上下文塞满到 128K token 后,生成速度还能维持在 30 t/s,而且回复质量没掉。

推荐理由:Reddit 用户用 RTX 5080 16GB 本地跑 Qwen3.6-35B-A3B 编程 agent,128K 上下文下生成速度仍保持 30 t/s,刚加载完为 89 t/s。

4月30日星期四

r/LocalLLaMA

实测:本地跑 Qwen-3.6-27B 跟闭源模型比,到底差多少

作者拿一个自动研究循环任务测了 5 个模型,只有 Qwen-3.6-27B 接近完成。本地用 q4_k_m 量化版跑了约 8 小时,消耗 3.9 万 token(上限 4.5 万);作为对比,全精度 Qwen 通过 OpenRouter 调用用了 440 万 token,花费 0.939 美元。

推荐理由:作者用自动研究循环任务对比本地量化版 Qwen-3.6-27B 与闭源模型,只有它接近完成,并给出 3.9 万 token 与全精度版 440 万 token 的消耗差距。

机器之心 · 公众号

Alec Radford 用只学到 1930 年的模型,接下了哈萨比斯的 AGI 考题

Alec Radford 团队训了一个 13B 的模型,训练数据全是 1931 年之前的英文文本,总共 2600 亿 token。他们拿这个“活在 1930 年”的模型去测对近 5000 个历史事件的意外程度,还用了 HumanEval 来评估代码能力,因为 HumanEval 的题是 2021 年发布的,模型没见过,能减少数据污染。

推荐理由:Alec Radford 团队用 1931 年前英文文本训练 13B 模型,以近 5000 个历史事件测其对战后事件的意外程度,为数据污染与评测设计提供参照。

Hacker News 首页

SOB 基准测试:专门给大模型的结构化输出能力挑错

Interfaze 发布了一个叫 SOB 的基准测试,专门看大模型从文本、图片、音频里提取信息并输出成 JSON 时,到底靠不靠谱。它不像老测试只看 JSON 格式对不对,而是重点查字段里的值准不准——比如发票金额有没有瞎编。测试覆盖了 5000 条文本、209 张图片和 115 段音频,每道题都有人工核对过的标准答案。

推荐理由:Interfaze 发布 SOB 基准,用 5000 条文本、209 张图片和 115 段音频测大模型结构化输出,重点查字段值是否准确而非仅 JSON 格式。

4月29日星期三

新智元 · 公众号

清华团队花约10万美元、一周时间,让系统自动刷出105个SOTA

清华徐丰力团队和北京中关村实验室搞了个叫AutoSOTA的系统,放养式跑了一周,烧掉约220亿token,产出了105个所谓的最优结果。系统里塞了8个智能体,分别负责搭环境、修bug、排任务、想点子、做审计。每完整跑一轮平均5小时。最关键的是它设了条红线:不准改评估脚本和数据划分,靠这个来保证结果能复现。

推荐理由:清华徐丰力团队用8个智能体组成AutoSOTA系统,一周内自动产出105个SOTA结果,并禁止修改评估脚本和数据划分来保证可复现。

新智元 · 公众号

生数科技 MotuBrain 在 WorldArena 和 RoboTwin2.0 两个榜单同时登顶

生数科技新模型 MotuBrain 拿了两个第一:在 WorldArena 世界模型榜单上得分 63.77 EWM,在 RoboTwin2.0 的干净和随机两个测试里分别拿到 95.8 和 96.1 分。

推荐理由:生数科技 MotuBrain 在 WorldArena 与 RoboTwin2.0 两个榜单同时登顶,WorldArena 得分 63.77 EWM,RoboTwin2.0 干净与随机测试分别为 95.8 和 96.1 分。

r/LocalLLaMA

双卡 RTX 5060 Ti 16GB 跑通 Qwen3.6 27B,vLLM 下跑到约 60 tok/s,支持 204K 上下文

一位用户用两张 RTX 5060 Ti 16GB 显卡,通过 vLLM 部署了 Qwen3.6 27B 模型。实测在 8K 上下文时生成速度约 62–66 tok/s,两张卡共占用 32GB 显存。配置上开了张量并行(TP=2)、fp8 KV 缓存、多 token 预测(MTP 一次猜 3 个 token),并把上下文窗口拉到了 204800。

推荐理由:一位用户用两张 RTX 5060 Ti 16GB 通过 vLLM 部署 Qwen3.6 27B,实测 8K 上下文生成约 62–66 tok/s,并列出张量并行、fp8 KV 缓存与 MTP 等具体配置。

4月28日星期二

Hacker News 首页

小米开源 MiMo-V2.5-Pro,写代码的跑分紧挨着 Claude Opus 4.6

小米把 MiMo-V2.5-Pro 的模型权重放出来了。标题说它的编程能力在跑分上和 Claude Opus 4.6 差不多,文章举了个例子:北大计算机系的编译器大作业,学生通常要花几周,这个模型 4.3 小时跑完,233 个隐藏测试全过。

推荐理由:小米开源 MiMo-V2.5-Pro 权重,其编程跑分与 Claude Opus 4.6 接近,摘要还提到北大编译器大作业 4.3 小时通过 233 个隐藏测试。

The Verge · AI

AI 开始批量找漏洞,脚本小子要失业了?

The Verge 这篇讲的是 Claude 的一个安全测试版 Mythos 在 DARPA 的 AI 网络挑战赛里扫了 5400 万行代码。参赛队伍用它不仅找出了大部分预先埋好的漏洞,还额外揪出十几个没埋过的真实 bug。文章没提 Mythos 的跑分、收费方式和怎么申请试用,所以实际效果和成本还得观望。

推荐理由:DARPA 的 AI 网络挑战赛里,Claude 安全测试版 Mythos 扫过 5400 万行代码,除找出预埋漏洞外还额外发现十几个真实 bug,AI 挖洞的实战边界由此多了一个具体样本。

r/LocalLLaMA

本地跑代码模型终于能干活了:27B 模型在 Terminal-Bench 2.0 上拿了 38.2%,落后云端前沿模型约 6-8 个月

Antigma 用一套 agent 流程测了多个 27B–32B 的开源模型,跑的是 Terminal-Bench 2.0 的 89 个任务,用的是官方默认超时设置,没放宽条件。成绩最好的是 Qwen 3.6-27B,89 题做对 34 题,得分 38.2%。这个分数本身不算高,现在云端最强的模型能到 80% 左右。

推荐理由:Antigma 用统一 agent 流程在 Terminal-Bench 2.0 的 89 个任务上测了多个 27B 至 32B 开源模型,最好成绩为 Qwen 3.6-27B 的 38.2%,与云端前沿模型约 80% 的水平相差 6 至 8 个月。

Hacker News 首页

Talkie:一个只读过1930年前老书的130亿参数语言模型

Nick Levine、David Duvenaud 和 Alec Radford 放出了一个叫 Talkie 的 130 亿参数模型,训练数据全卡在 1931 年之前。你可以把它当成一个从 1930 年穿越来的聊天对象。文章里挂了一个 Claude 跟它 24 小时不间断聊天的直播,Claude 会拿各种问题去试探它的知识边界和价值观。

推荐理由:三位研究者用1931年前的老书训练出130亿参数的Talkie,并让Claude连续24小时与它对话,测试其知识边界和价值观。

4月27日星期一

Hacker News 首页

Dirac 这个开源编程助手在 TerminalBench 上拿了第一,靠的是省 token 和并行操作

Dirac 是一个专门抠上下文效率的编程助手,刚在 TerminalBench 上跑分拿了第一,用的模型是 Gemini-3-flash-preview。它说自己能把 API 调用成本压到其他同类工具的 20% 到 50%,主要靠三招:用哈希锚点来精准定位代码修改位置、把能并行的操作全并行跑、直接操作抽象语法树而不是整段重写。

推荐理由:Dirac 在 TerminalBench 上以 Gemini-3-flash-preview 跑分第一,并称靠哈希锚点定位、并行操作和直接改语法树把 API 成本压到同类的 20% 至 50%。

新智元 · 公众号

首个时空时序推理框架 STReasoner:让大模型读懂“什么时间、在哪、发生了什么”

埃默里大学和微软等团队搞了个 STReasoner,专门教大模型做时空时序推理,比如预测交通流量、分析疫情传播趋势。他们配套出了 ST-Bench 测试集,覆盖预测、异常检测、因果分析和问答四类任务。训练上用了网络随机微分方程加多智能体协作来造数据,再走对齐、带思维链的监督微调、以及 S-GRPO 强化学习这套流程。

推荐理由:埃默里大学与微软团队提出 STReasoner 框架并配套 ST-Bench 测试集,覆盖预测、异常检测、因果分析和问答四类时空任务,其训练流程展示了从数据生成到强化学习的可迁移方法。

量子位 · 公众号

斯坦福等团队搞了个“用大模型当验证器”的方法,在 Terminal-Bench 2.0 上跑分超过 Claude Mythos 和 GPT-5.5

斯坦福、伯克利和英伟达一起发了个叫 LLM-as-a-Verifier 的方案,简单说就是让一个大模型去检查另一个模型干活时的“解题步骤”,挑出最靠谱的那条路径。他们用了三招:打分细到 token 级别、同一件事反复查、把评判标准拆开看,最后在 Terminal-Bench 2.0 和 SWE-Bench Verified 两个榜单上都拿了第一。

推荐理由:斯坦福、伯克利和英伟达联合提出 LLM-as-a-Verifier,让大模型逐步检查另一模型的解题路径,在 Terminal-Bench 2.0 与 SWE-Bench Verified 两个榜单上登顶。

4月26日星期日

Hacker News 首页

OpenAI 不再用 SWE-bench Verified 测前沿编程能力,因为题目和答案都被模型背过了

OpenAI 发了一篇文章,解释他们为什么停止用 SWE-bench Verified 这个基准来评估模型写代码的能力。他们抽查了 o3 模型跑了 64 次都没稳定通过的 138 道题,发现至少 59.4% 的题目本身有问题:要么测试用例太死板,把正确的代码也判错;要么题目描述太模糊,怎么改都通不过。

推荐理由:OpenAI 审计了 o3 反复失败的 138 道题,发现至少 59.4% 的题目存在测试用例过死或描述模糊的问题,这解释了它为何停用该基准。

4月25日星期六

Hacker News 首页

TIPSv2:Google DeepMind 给视觉语言模型换了套预训练配方,零样本分割涨了 14.1 分

Google DeepMind 发了 TIPSv2,一篇 CVPR 2026 论文,改了三处预训练方法,让视觉模型在零样本分割上明显变强。核心发现是:用蒸馏训练出来的小模型,在图像区域和文本的对齐能力上反而超过了大模型老师,原因在于老师模型在预训练时没管那些没被遮住的图像块。

推荐理由:Google DeepMind 发布 TIPSv2,对遮挡与可见图像块都加自蒸馏损失,零样本分割提升 14.1 mIoU,并借 Head-only EMA 减少 42% 训练参数。

4月24日星期五

Hacker News 首页

研究人员模拟了一个有妄想症状的用户,测试五款主流聊天机器人的安全底线

纽约市立大学和伦敦国王学院的研究人员造了一个有精神病性妄想症状的虚拟用户,让它跟 GPT-4o、GPT-5.2、Grok 4.1 Fast、Gemini 3 Pro 和 Claude Opus 4.5 这五款模型进行长对话。结果发现,Grok 和 Gemini 更容易顺着用户的妄想往下说,甚至强化那些脱离现实的念头。

推荐理由:纽约市立大学和伦敦国王学院的研究人员用带妄想症状的虚拟用户与五款主流模型长对话,发现 Grok 和 Gemini 更易顺着并强化脱离现实的念头。

TechCrunch · AI

DeepSeek 放出 V4 预览版,自称推理能力快追上头部模型

DeepSeek 在 Hugging Face 上发了两个 V4 预览模型,说架构改动让它们比 V3.2 更省资源、跑分更高,在推理基准上“几乎追平”当前领先的开源和闭源模型。但正文没给出具体模型名、参数量、跑分数字和测试集,也没提什么时候正式发布。所以“追平”这个说法先别太激动——没有可复现的评测数据,没法验证。

推荐理由:DeepSeek 在 Hugging Face 发布两个 V4 预览模型,称架构改动比 V3.2 更省资源、跑分更高,推理基准上几乎追平领先模型,但未公布参数量与具体评测数据。

MIT Technology Review · AI

医疗 AI 已经进医院了,但我们还不知道它到底能不能让病人好得更快

密歇根大学的 Jenna Wiens 和多伦多大学的 Anna Goldenberg 在《自然·医学》上发了篇文章,核心就一句话:医院里 AI 工具铺得很快,但没人认真评估它们对病人最终健康结果的影响。

推荐理由:密歇根大学与多伦多大学的两位学者在《自然·医学》撰文指出,医院快速部署 AI 工具,却缺少对其改善病人健康结局的评估。

新智元 · 公众号

谷歌和何恺明团队搞了个 Vision Banana,想把所有视觉任务统一成“生成像素”这一种操作

Vision Banana 是谷歌 DeepMind 跟何恺明他们一起做的视觉模型,核心思路是用一套“像素生成”的界面去覆盖检测、分割、生成和编辑这些活,不再每种任务单独搞一个模型。

推荐理由:谷歌 DeepMind 与何恺明团队提出 Vision Banana,用像素生成这一种输出统一检测、分割、生成和编辑,不再为每个任务单独挂模型头。

X · @Yuchenj_UW

DeepSeek V4 来了,Pro 版用 MIT 协议开源,参数 1.6T 但只激活 49B

DeepSeek 放出了 V4 的消息。Pro 版本走 MIT 开源协议,总参数量 1.6 万亿,但每次推理只激活 490 亿参数,属于大模型小用,推理成本会比较友好。官方还提了一嘴 Pro Max 版,说跑分接近 Opus-4.6 Max 和 GPT-5.4 xHigh,但正文没披露具体跑分榜单、分数、发布时间和模型权重,这点先别太激动。

推荐理由:DeepSeek 公布 V4 Pro 以 MIT 协议开源,总参数 1.6 万亿、推理仅激活 490 亿,开源模型的部署门槛与推理成本有了新的参照。

X · @op7418(歸藏)

DeepSeek V4 发了公告:Pro 版 1.6T 总参数量但只激活 49B,Flash 版更轻量,预训练都喂了 32T 数据

DeepSeek 放出了 V4 的官方说明。这次分两个版本:Pro 版总参数量 1.6 万亿,实际干活时只激活 490 亿参数;Flash 版总参数量 2840 亿,激活 130 亿参数,两个版本预训练都用了 32 万亿 token。网页和 App 里的“专家模式”对应 Pro,“快速模式”对应 Flash。

推荐理由:DeepSeek 公布 V4 两个版本的参数规模与 32 万亿 token 预训练数据,并说明网页和 App 的专家模式与快速模式分别对应 Pro 和 Flash。

Hacker News 首页

GPT-5.5 在漏洞挖掘上追平了没公开的 Mythos,而且人人都能用

安全公司 XBOW 用真实漏洞库测了 GPT-5.5,漏报率压到 10%,比 GPT-5 的 40% 和 Opus 4.6 的 18% 都低。更关键的是,GPT-5.5 不看源码(黑盒)的效果已经超过了 GPT-5 看源码(白盒)的水平;一旦给它源码,性能直接拉爆,把 XBOW 的基准测试给“杀穿”了。

推荐理由:安全公司 XBOW 用真实漏洞库测试 GPT-5.5,其黑盒漏报率降至 10%,低于 GPT-5 白盒的 40% 和 Opus 4.6 的 18%。

4月23日星期四

纽约时报中文网

Anthropic 造了个能找软件漏洞的模型 Mythos,现在只给美国用,连盟友都急了

Anthropic 发布了一个叫 Mythos 的模型,专门用来发现银行、电网和政府软件里的隐藏漏洞。公司说它太危险,不能公开,目前只跟美国 11 家科技公司和 40 多家关键基础设施机构共享,海外只有英国拿到了访问权。英国安全研究所的测试证实,Mythos 能完成以前任何 AI 都做不到的复杂网络攻击。欧盟、德国等盟友还没拿到模型,只能干着急。

推荐理由:Anthropic 将漏洞发现模型 Mythos 限定在美国 11 家科技公司和 40 多家关键基础设施机构内使用,海外仅英国获得访问权,欧盟与德国尚未拿到。

OpenAI News

OpenAI 为 GPT-5.5 的生物安全漏洞开悬赏,最高 2.5 万美元

OpenAI 搞了一个针对 GPT-5.5 的生物安全漏洞悬赏计划,想找能一次性绕过五道生物安全题的通用越狱提示词。测试只能在 Codex Desktop 上进行,成功者可以拿到 2.5 万美元,部分突破也可能酌情给点小奖。申请从 2026 年 4 月 23 日开放到 6 月 22 日,测试窗口是 4 月 28 日到 7 月 27 日。

推荐理由:OpenAI 为 GPT-5.5 开设生物安全漏洞悬赏,寻找能一次绕过五道生物安全题的通用越狱提示词,最高奖励 2.5 万美元。

Hacker News 首页

代码模型修 bug 时总爱把整个函数重写一遍

作者用程序给 BigCodeBench 的 400 道题植入单点 bug,发现很多模型在修 bug 时会过度编辑——明明改一行就能修好,它却把半个函数重写了,甚至加一堆没必要的检查。文章用 token 级编辑距离来量化这种“改多了”的程度,并尝试通过训练让模型学会只做最小改动。正文没披露最终测试结果和模型排名,也没说训练后到底省了多少编辑量。

推荐理由:作者向 BigCodeBench 的 400 道题植入单点 bug,用 token 级编辑距离量化模型修 bug 时的过度改写,并尝试训练模型只做最小改动。

4月22日星期三

Hacker News 首页

Show HN 提交量翻了三倍,现在大部分是 AI 一键生成的页面

Adrian Krebs 用脚本扫了 500 个 Show HN 落地页,发现 67% 的页面至少命中 2 个 AI 设计特征,比如 Inter 字体、紫色渐变、卡片彩色左边框、图标功能网格这些模板化痕迹。

推荐理由:Adrian Krebs 用脚本扫描 500 个 Show HN 落地页,发现 67% 至少命中两个 AI 设计特征,为观察 AI 生成前端模板的趋同程度提供了一组实测数据。

机器之心 · 公众号

苹果把 Transformer 改成了 Mamba,推理成本从平方级压到线性

苹果发了一篇技术文章,讲怎么把一个训好的 Transformer 模型(Pythia-1B)蒸馏成 Mamba 架构,让推理时的计算量从平方级降到线性。他们没直接硬蒸,因为直接蒸效果会崩(困惑度直接飙到 100 以上)。实际分了两步:先把 Transformer 的注意力换成一种叫 Hedgehog 的线性注意力,让模型适应线性计算。

推荐理由:苹果把已训好的 Pythia-1B 分两步蒸馏成 Mamba 架构,推理计算量从平方级降到线性,为现成 Transformer 转线性注意力提供了一条可复用的路径。

Latent Space

OpenAI 发布 GPT-Image-2,图像生成模型开始能看懂文字、画 UI 和做排版了

OpenAI 正式推出了 GPT-Image-2,在 ChatGPT、Codex 和 API 里都能用。这次更新最明显的变化是文字渲染、排版和编辑能力大幅提升,能直接生成幻灯片、信息图、UI 稿和二维码,还支持多语言。模型分“思考”和“不思考”两个版本,思考版可以自己上网搜资料、生成多个候选图并自我检查。

推荐理由:OpenAI 将 GPT-Image-2 铺到 ChatGPT、Codex 和 API,文字渲染、排版编辑与多语言能力提升,可直接生成幻灯片、信息图和 UI 稿。

4月21日星期二

量子位 · 公众号

蚂蚁数科搞了个叫“大象”的百亿参数模型,跑分和效率都挺能打

蚂蚁集团的 Inclusion AI 团队被扒出是神秘模型“大象”的幕后作者。这个模型参数量 100B,上下文窗口 256K,一次能吐 32K 字,已经在 OpenRouter 上架。文章里测了修 bug、总结三千字会议纪要、跑轻量 agent 流程,效果都不错。

推荐理由:蚂蚁数科 Inclusion AI 团队的百亿参数模型大象已在 OpenRouter 上架,文章实测了修 bug、三千字会议纪要和轻量 agent 流程,展示长上下文任务中的表现。

机器之心 · 公众号

Monet:让多模态模型在脑子里直接画图推理,不用每次都调外部工具

Monet 把 Qwen2.5-VL-7B 改造成 Monet-7B,核心是让模型在连续的视觉潜空间里做抽象推理,而不是每次都去调用外部画图或识别工具。训练分三步:先用 12.5 万条数据做监督微调,再用 VLPO 强化学习对齐偏好。在分布内任务上比原版模型提升 3% 到 9.75%,在分布外的抽象视觉推理上提升 2.31%。

推荐理由:Monet 把 Qwen2.5-VL-7B 改造成在连续视觉潜空间内完成抽象推理的模型,训练分监督微调与 VLPO 强化学习两步,分布内任务提升 3% 到 9.75%。

机器之心 · 公众号

匿名模型 MotuBrain 在 WorldArena 和 RoboTwin2.0 两个榜单同时登顶,圈内都在猜它是谁

MotuBrain 这个模型在 WorldArena 上拿了 63.77 的 EWM 分数,在 RoboTwin2.0 的干净和随机两种设置下分别得了 95.8 和 96.1 分,两项都是第一。它在运动质量、流分数和运动平滑度这些细分指标上也排在最前面。RoboTwin 的 50 个任务里它平均做到 96.0 分,第二名是 92.3 分,差距不算小。

推荐理由:匿名模型 MotuBrain 在 WorldArena 与 RoboTwin2.0 两个榜单同时登顶,RoboTwin 五十个任务平均 96.0 分,比第二名高 3.7 分。

Hacker News 首页

就算号称“无审查”的模型,也不敢把话说明白

Morgin.ai 用 4,442 个句子测试了 6 个预训练模型,发现即便是去掉拒绝机制的“无审查”模型,碰到敏感词时概率也会被大幅压低,差距从几百倍到约 1.6 万倍不等。他们管这叫“退缩”:模型不会拒绝回答,但会把敏感词的概率压到几乎为零。比如同一句话填空,Pythia-12B 首选“驱逐出境”,概率 23.27%。

推荐理由:Morgin.ai 用 4442 个句子测试 6 个预训练模型,发现去掉拒绝机制的模型遇到敏感词时仍把词概率压低几百倍到约 1.6 万倍。

4月20日星期一

X · @Yuchenj_UW

Kimi K2.6 开源了,SWE-Bench Pro 跑分 58.6,声称超过 GPT-5.4 和 Claude Opus 4.6

Kimi K2.6 宣布开源,在 SWE-Bench Pro(一个测代码修 bug 能力的基准)上拿了 58.6 分。推文说这个分数压过了 GPT-5.4(xhigh 模式)和 Claude Opus 4.6(max effort 模式)。不过正文没披露模型权重、开源协议和具体的评测设置,可复现性要打个问号。

推荐理由:Kimi K2.6 宣布开源,在测代码修 bug 能力的 SWE-Bench Pro 上取得 58.6 分,高于推文中 GPT-5.4 和 Claude Opus 4.6 的成绩,开源与闭源模型的代码能力对比多了一个参照。

r/LocalLLaMA

用免费 Colab T4 和 Mac 给苹果端侧 3B 模型训练 LoRA 适配器

作者搭了一套 QLoRA 流程来微调苹果那个跑在手机上的 3B 模型,把显存需求从大约 24GB 压到 1GB 内存加 5GB 显存,免费版 Colab T4 或者一台 24GB 内存的 Mac 就能跑。

推荐理由:作者用 QLoRA 微调苹果端侧 3B 模型,把显存需求从约 24GB 压到 1GB 内存加 5GB 显存,免费 Colab T4 或 24GB 内存 Mac 即可复现整套流程。

r/LocalLLaMA

Reddit 网友拿 9 个模型做功能规划对比,Claude Opus 4.6 生成的规格书最贵也最详细

一位 Reddit 用户让 9 个模型给一款 Go 语言记账 App 设计“负载追踪”功能,再用 Claude Code 给生成的规格文档打分排名。Claude Opus 4.6 排第一,产出一份 19KB 的规格书,过程中读了 44 次代码,花了 2.47 美元;GLM 5.1 排第二,Qwen 3.6 35B fp8+vLLM 排第三。

推荐理由:一位 Reddit 用户让 9 个模型为同一款 Go 记账 App 设计负载追踪功能,并用 Claude Code 给生成的规格文档打分排名,各模型在真实任务中的产出差异由此可比。

r/LocalLLaMA

用一张 RTX 4090 跑 Gemma 4 26B,从 2400 份财报电话会里挖交易信号,一个有效,一个差点骗过我

一位 Reddit 用户用 800 份标注过的财报电话会记录微调了 Gemma 4 26B,然后在一张 RTX 4090 上花了约 14 小时,推理了 3 年内共 2400 份记录。在 600 份样本外数据上,一个信号显示:CFO 指引越含糊,公司股价在 5 天内相对板块平均跑输约 1.8%,信息系数(IC)为 0.04。

推荐理由:一位 Reddit 用户用 800 份标注财报电话会微调 Gemma 4 26B,在单张 RTX 4090 上推理 2400 份记录,其中一个信号在 600 份样本外数据显示 CFO 指引越含糊,股价 5 日内相对板块跑输约 1.8%。