跳到正文

#MCP/工具调用

今日 0 条

6月6日星期六

r/LocalLLaMA

Claude 和本地模型写代码的差距有多大?有人用 4090 跑了一遍

这篇 Reddit 帖子正文被屏蔽了,只能从标题和摘要反推。作者拿一个 Laravel 12 + Livewire 的端到端测试任务,比了五套写代码的 agent 配置。Claude Opus 4.7 配 1M 上下文窗口,一口气生成了 203 个测试;本地最强的方案是 OpenCode 跑在一张 24GB 显存的 RTX 4090 上,产出 140 ...

推荐理由:正文被屏蔽了,只能从标题和摘要反推。作者拿一个 Laravel 12 + Livewire 的端到端测试任务,比了五套写代码 agent。Claude Opus 4.7 配 1M 上下文窗口一口气生成 203 个测试;本地最强方案 OpenCode 跑在 24GB 显存的 RTX 4090 上,产出 140 个,中间还压了 4 次上下文。差距摆在那,但本地方案不用把代码往外传,这点对隐私敏感的场景有吸引力。帖子本身是一次个人实验,不是标准化基准测试,结论别直接当采购依据。

6月4日星期四

AI HOT 精选

Cloudflare 数据显示机器人流量首次超过人类,占 HTML 请求的 57.5%

Cloudflare Radar 统计了 5 月 28 日到 6 月 4 日这一周的全球流量,发现所有 HTML 网页请求里,57.5% 来自爬虫、AI 抓取和自动化脚本,真人浏览器只占 42.5%,这是机器人流量头一回超过人类。如果把所有 HTTP 返回内容都算上,JSON 格式(主要是机器对机器的 API 通信)占了 33.1%,排第一,HTML ...

推荐理由:Cloudflare Radar 这次给了一个很具体的窗口和比例,HKR 三项都踩实了。文章没把 AI 爬虫、搜索引擎蜘蛛和恶意自动化流量拆开讲,所以我会先打个折,不把它捧得太高。但“机器人过半”这个信号本身对做网站、做爬虫、做安全的人都有直接参考价值,放在 featured 档刚好。

6月3日星期三

AI 群聊日报

微软发布自研推理模型MAI-Thinking-1,35B参数在编程和数学上追平Opus 4.6

微软首个正式对外发布的自研推理模型MAI-Thinking-1,用了35B活跃参数、总参数约1T的稀疏MoE架构。SWE-Bench Pro编程测试跟Claude Opus 4.6打平,AIME 2025数学测试拿到97%,盲测里人类偏好优于Sonnet 4.6。训练全程没用任何第三方模型蒸馏,预训练数据也排除了AI生成内容。不过群友对微软年底拿第一的...

推荐理由:这条消息的钩子很清晰:微软的 MAI-Thinking-1 在代码基准上追平了 Opus 4.6,而且给出了具体的参数规模和数学测试得分。我会先打个折——来源是群聊日报,不是官方公告,正文没披露模型是否开源、API 定价和完整评测设置,所以权威性偏弱。但 H/K/R 三个维度都踩中了:有竞争对标、有硬数字、有平台格局的冲击力。综合来看,值得作为 featured 推给从业者看一眼,但别急着把它当正式发布。

AI HOT 精选

Qwen3.7 发布,重点强化推理和让模型进业务流程干活的能力

Qwen 发了 Qwen3.7,由通义大模型 BU 多模态交互负责人 Steven Hoi 介绍。官方说法是推理能力有重大突破,工具调用、写代码和长链条的 agent 任务都做了升级。正文没披露模型参数量、定价、跑分成绩和开源/闭源条件,我会先打个折——等看到具体数字和实测再判断突破有多大。

推荐理由:HKR-H 和 HKR-R 通过,因为 Qwen3.7 是阿里云旗舰模型更新,从业者会关注。HKR-K 不通过:正文只说了能力方向,没给参数量、价格、跑分或接入方式,信息缺口太大,没法判断实际提升。

r/LocalLLaMA

用 LiteRT 跑 Gemma 4 E4B,文字生成比 Q4 GGUF 快 2.4 倍,图片处理几乎没变

有人在 RTX 4060 Ti 16GB 上实测了 Gemma 4 E4B 模型。用 LiteRT 引擎跑文字生成,平均每秒能出 157.2 个 token,而用 llama.cpp 的 Q4 GGUF 格式只有 66.3 tok/s,快了大约 2.4 倍。不过图片标注任务就没这么乐观了:处理 111 张全分辨率图片,LiteRT 耗时约 72 秒,Q...

推荐理由:这是一篇个人在 Reddit 上发的实测,不是官方报告,权威性有限,所以分数没往上拉。但 H、K、R 三项都站得住:速度对比抓眼球,测试条件和数据都写清楚了,对想在自己机器上跑 Gemma 的人有直接参考价值。我会先打个折,因为只有单卡单次测试,没提功耗和精度变化,但作为一手体验已经够用。

r/LocalLLaMA

Reddit 网友在 6GB 显存的笔记本 4050 上跑了 20 个小模型的速度对比

这篇帖子本身被 Reddit 的安全策略拦住了,正文内容没抓到,只留下一个“被网络安全屏蔽”的提示。从标题和已有的英文摘要看,作者用 LM Studio 的接口测了 20 个小模型,统一在 6GB 显存的 RTX 4050 上跑,每个模型在 1k、8k、32k 三种上下文长度下各测了 5 次速度。目前能看到的唯一具体数据是 unsloth/lfm2.5...

推荐理由:我会先打个折,来源是 Reddit 帖子,权威性一般,但内容本身很实在。作者没搞虚的,就是拿 20 个模型在 LM Studio 里用 6GB 4050 实测,把速度、显存占用都列出来。对想本地跑小模型的人来说,这比看论文里的 A100 数据有用得多。正文没披露测试用的量化精度和具体 prompt,这点信息缺口让结论不能直接照搬,但作为一张低显存显卡的参考表,已经够用了。

6月2日星期二

AI HOT 精选

阶跃星辰放出 Step 3.7 Flash,开放权重,主打帮智能体写代码

阶跃星辰发了个新模型 Step 3.7 Flash,把权重开放了,你可以直接下载用。它的定位是给智能体编程场景用,强调工具调用可靠,还能处理多模态输入。同一天 MiniMax 也开源了 M3,两家模型都已经能在 Kilo 平台上跑。正文没披露具体的跑分、参数量或硬件门槛,所以实际快不快、省不省资源还得自己测。

推荐理由:这条消息的钩子在于“开放权重”和“智能体编程”两个点,不是常规发个新版本。我会先打个折:正文没给模型尺寸、跑分、许可证和定价,所以只能算有信息增量但缺关键验证。对开发者来说,能直接下载权重、能调工具、能看懂多模态输入,这几个能力放在一起确实有吸引力,尤其现在大家都在抢智能体编程这条赛道。Kilo 上线也让想试的人有个现成入口。不过没披露性能对比和实际成本,这点先别太激动,等后续数据出来再看值不值得切过去。

6月1日星期一

量子位 · 公众号

招商局狮子山实验室开源 LiOS 架构,把云端大模型延迟压到 30 毫秒,还送了个叠衣服数据集

招商局狮子山人工智能实验室放出了一个叫 LiOS 的边云架构,专门解决机器人怎么用上云端大模型的问题。他们跨机器测下来,从本地摄像头到云端 GPU 显存,单向延迟大约 30 毫秒,这个数字对很多实时控制场景已经够用了。架构里低延迟视频传输模块直接开源,还附带了一个 LeFold 叠衣服数据集。不过正文因为微信环境异常没加载出来,具体用了什么模型、在哪些...

推荐理由:我会先打个折:招商局狮子山实验室不是头部平台,也没看到多源交叉验证,所以影响力止步中等。但这条消息确实给了干货——30ms相机到云端显存的延迟数字,说明端云协同在物理世界干活有戏,不是纯画饼。开源图传模块和叠衣数据集也算实在,同行能直接拿来测。正文没披露具体模型规模、功耗和复杂场景下的抖动,这点先别太激动。

r/LocalLLaMA

网友在双 DGX Spark 上跑 DeepSeek V4 Flash:预填充 1680 token/s,解码 39.8 token/s

一位 Reddit 用户用两台华硕 GX10(DGX Spark)组了个小集群,通过 vLLM 加载 DeepSeek-V4-Flash 模型。在 256K 上下文窗口、开启多 token 预测(MTP=2)的设置下,测得预填充速度 1680 token/s,解码速度 39.8 token/s。部署用了张量并行(TP=2),两台机器通过 RoCE 网络...

推荐理由:这不是行业大新闻,但胜在是第一手实测,配置细节都给了:TP=2、RoCE 网络、fp8 KV 缓存、256K 上下文,还估出了约 1M tokens 的安全 KV 上限。对想对比自己机器性能的人来说,这些数字比官方宣传实在。HKR 三项都踩中,放在低 featured 位置刚好。

r/LocalLLaMA

有人把英伟达 Parakeet 语音转文字模型移植到了 ggml,不再需要 Python,还能量化压缩

开发者 mudler_it 把英伟达的 Parakeet 语音转文字模型用 C++ 和 ggml 重写了一遍,彻底甩掉了 Python 和 PyTorch。他测试下来,在 f32 和 f16 精度下输出结果和原版 NeMo 逐字节一致,但速度更快,大一点的 TDT 和混合模型在 GPU 上能跑到大约 5 倍加速。模型还支持 GGUF 量化,提供了 f1...

推荐理由:我会先打个折:这是个人移植项目,不是 NVIDIA 官方出品,长期维护和后续模型支持还得看社区。但亮点很明确——输出字节级对齐 NeMo,量化后跑得更快,而且不用碰 Python 环境。对想在树莓派、本地服务器或离线场景跑语音转文字的人来说,这是个省事的选择。正文没披露量化后的精度损失有多大,这点先别太激动。整体看,技术验证扎实,痛点打得准,放在 featured 低位合适。

5月30日星期六

量子位 · 公众号

人大和至知研究院开源了 Claw Agent 的全套训练方案,连数据带模型和评测一起给了

人大和至知研究院放出了一个叫 ClawGym 的 Agent 训练框架,把数据、训练代码和模型权重都开源了。他们合成了 13500 条可执行的任务当训练数据,又做了 200 条任务的基准测试集。用这套东西训出来的 ClawGym-30B-A3B 模型,在他们自己的 ClawGym-Bench 上拿了 56.82 分,比 Qwen3-235B-A23B ...

推荐理由:这条消息对 Agent 开发者很实用。ClawGym 把数据、代码、模型检查点一起打包开源,不是又一个只有排行榜的项目。13.5K 合成任务规模不算大,但 200 个评测任务和 56.82 的得分给了明确的起点。我会先打个折:正文没披露合成任务的质量验证细节,也没说这个分数在实际业务场景里对应什么水平,所以别急着对标生产环境。但作为开源基建,它降低了复现和改造的门槛,值得关注。

5月29日星期五

AI HOT 精选

小米开源 ControlFoley:给视频配音效,可以按你写的提示词或给的参考音频来

小米大模型应用团队放出了一个叫 ControlFoley 的视频音效生成模型,权重和代码都开源了。它主要解决一个问题:以前模型只能看画面自动猜配什么声音,创作者没法干预。ControlFoley 支持三种用法——用文字描述想要的音效、用文字强行覆盖画面里原有的声音、或者上传一段参考音频让它模仿音色和风格,同时还能保证声音和画面动作对得上。团队自己训了一...

推荐理由:ControlFoley 把视频拟音做成可控生成,还直接开源了全套,对创作者和开发者都挺友好。它不是那种刷榜的基础模型发布,但胜在任务明确、工具属性强,放在 featured 门槛附近是合理的。

5月28日星期四

AI HOT 精选

Mistral 推出物理 AI 模型,用一张 GPU 几秒钟预测完整物理场

Mistral 整合了 Emmi AI 团队,发布了一个面向工业工程的物理 AI 基础模型。它能根据几何结构、边界条件或测量数据,在单张 GPU 上用几秒钟预测出完整的物理场(比如温度、应力分布)。正文没披露具体架构、参数量、训练数据规模和实测误差范围,也没给出跟传统数值仿真在精度和速度上的量化对比,所以实际工程可用性还得看后续验证。

推荐理由:Mistral 这次没发新聊天模型,而是直接拿下一个物理 AI 团队,做工业仿真。我会先打个折:正文没披露具体模型名、基准测试、定价和开放方式,所以没法判断它比现有求解器到底准不准、省多少。但方向本身值得关注——如果单 GPU 秒级出完整物理场是真的,对西门子能源这类重工业客户来说,仿真迭代速度会快很多,成本也可能降一截。这点先别太激动,等他们放出可复现的结果再说。

5月26日星期二

r/LocalLLaMA

dlmserve 开源:首个为扩散语言模型设计的推理引擎,支持 LLaDA-8B,吞吐量是 HuggingFace 的 2.5 倍

Reddit 上有人放出了一个叫 dlmserve 的开源项目,MIT 协议,专门给扩散语言模型做推理服务。它第一个支持的模型是 LLaDA-8B-Instruct,这种模型生成文本的方式和常见的自回归模型不一样,是一步步“去噪”出完整回答。引擎对外提供兼容 OpenAI 的 /v1/chat/completions 接口,方便直接替换。性能方面,在批...

推荐理由:我会先打个折:目前只有 Reddit 一个信源,生态还很早期,所以分数没往上拉。但这条信息本身对玩本地模型的人挺实用——扩散语言模型一直缺好用的推理引擎,dlmserve 直接说自己是第一个,还给了 batch=4 下 2.5 倍 HF 吞吐、12GB 显存可跑这些具体数字,不是空喊口号。MIT 协议和 OpenAI 兼容接口也让试错成本变低。这点先别太激动,但值得放进雷达让读者知道有这么个东西出现了。

AI HOT 精选

通义千问 Qwen3.7-Max 编程能力排到全球第二,Code Arena 得分 1541,仅次于 Claude

Qwen3.7-Max 在 Code Arena 编程评测上拿了 1541 分,排名第二,只比 Claude 低。官方说它能连续跑 35 小时的任务、单次调用工具超过 1000 次,原本要两周的项目几小时就能搞定。不过正文没披露具体测试环境、任务类型和对比模型的详细分数,实际生产表现还得看后续验证。

推荐理由:这条消息的钩子很清晰,就是“编程第二”这个位置。给出的分数和任务时长是硬指标,虽然都来自阿里云自己的一篇发布,没有第三方交叉验证,但作为产品更新和基准测试的成绩单,信息量够、指向明确。我会先打个折——没有独立评测之前,这个“第二”更多是厂商宣称,但它的确提供了一个可被检验的标靶,值得放进 featured 让从业者自己去盯后续实测。

5月25日星期一

r/LocalLLaMA

NuExtract3 发布:一个 4B 开源视觉模型,能把图片和文字转成 Markdown、做 OCR 和按模板抽信息,自己电脑就能跑

Numind 放出了 NuExtract3,一个基于 Qwen3.5-4B 的开源视觉语言模型,用 Apache-2.0 协议。它主要干三件事:把图片或文字转成 Markdown 格式、从图片里直接识别文字(OCR)、以及按你给的 JSON 模板把非结构化内容抽成结构化数据。模型只有 4B 参数,对硬件要求不高,官方说最低 4GB 显存就能在本地部署。...

推荐理由:NuExtract3 把一个 4B 大小的开源视觉模型打包成了文档抽取工具,支持 OCR、转 Markdown 和按你给的 JSON 模板把内容抽出来。最吸引人的是它最低只要 4GB 显存就能在自己机器上跑,这对在意数据不出本地的团队来说省了不少事。模型基于 Qwen3.5-4B,用 Apache-2.0 协议,没有授权上的坑。不过正文没给出具体的抽取准确率或延迟数据,实际效果得自己测一下才知道。

5月23日星期六

r/LocalLLaMA

llama.cpp 新分支让 MoE 模型在 12GB 显存上跑得更快,RTX 2060 上速度从 19/22 tk/s 提到 26 tk/s

comanderxv 给 llama.cpp 开了个叫“experts first”的分支,专门优化混合专家模型(MoE)的显存调度。做法是把常用的专家模块提前缓存到显存里,实测用 RTX 2060(12GB 显存)跑 Qwen3.6-35B-A3B 模型,专家缓存命中率约 62%,生成速度从原来的 19 或 22 token/秒提升到了 26 tok...

推荐理由:HKR 三项都踩中了:钩子是一块 12GB 的老卡把 35B MoE 速度拉上来一截,有缓存机制和命中率数据撑着,话题又打在本地推理的成本神经上。不过这事目前还局限在本地推理的小圈子,所以放在 featured 档刚好,不用拔到必读。

5月21日星期四

r/LocalLLaMA

腾讯发布 Hy-MT2 翻译模型,覆盖 33 种语言,最小 1.8B 版压缩后仅 440MB

腾讯放出了 Hy-MT2 系列翻译模型,有 1.8B、7B 和 30B-A3B 三个尺寸,支持 33 种语言互译。1.8B 小模型用上 AngelSlim 1.25-bit 量化后,存储占用压到 440MB,推理速度还快了 1.5 倍,适合本地跑。不过 Reddit 原帖被屏蔽了,正文没披露具体翻译质量评测和更多技术细节,这点先别太激动。

推荐理由:我会先打个折:Reddit 信源比较散,所以分数没再往上拉。但 440MB 这个数字太直观了,比单纯列三个模型尺寸更有传播力,从业者一眼就能算出部署成本。正文没披露量化后的翻译质量损失,这点先别太激动,但“小模型干翻译”这个方向本身值得关注。

5月20日星期三

AI HOT 精选

Google AI Edge Gallery 更新:手机端模型能调外部工具、设提醒、记住聊天了

Google 给 AI Edge Gallery 这个手机端模型体验应用加了三个新能力。一是安卓版开始实验性支持 MCP(模型上下文协议),你可以给手机上的 Gemma 4 模型配一个外部工具服务器地址,比如连上 Google Workspace 查日历邮件,或者接 Google Maps 问路、接网页抓取工具读链接内容。模型在本地决定调哪个工具,请求...

推荐理由:Google 在安卓 AI Edge Gallery 里塞了实验性 MCP 支持,Gemma 4 能直接调 Workspace、Maps 这些外部工具,还补了通知和会话记忆。我会先打个折——正文没披露延迟、耗电和实际可用工具数量,目前更像开发者尝鲜版。但方向很明确:让手机端模型从聊天框跳出来,进到系统里干活。这点先别太激动,等看实际跑起来的稳定性。

r/LocalLLaMA

开源项目 Codegraph 声称能把 Claude、Cursor 等编程助手的工具调用次数砍掉 94%

Codegraph 的做法是提前给代码建好一张知识图谱,把符号关系、调用链和代码结构都索引好。在 VS Code 的测试里,工具调用从 52 次降到了 3 次,运行时间从 1 分 37 秒缩短到 17 秒。不过正文没披露具体测试的代码规模和任务复杂度,这个 94% 的降幅能不能在别的项目里复现还不好说。

推荐理由:HKR 三条都过了,但证据目前只有 Reddit 帖子和公开仓库的自测结果,没有独立复现或第三方验证。94% 的降幅和 52→3 的调用次数足够上 featured,但还不到 p1 的确定性。我会先打个折:数字好看,但别太激动,等有人复现再说。

5月19日星期二

Hacker News 首页

Forge 给开源小模型加了五层护栏,把智能体任务准确率从 53% 拉到 99%

Forge 是一个 Python 框架,专门给自部署的大模型做工具调用和多步骤智能体流程。它给 Ministral 8B 这个开源小模型套了五层护栏,在 18 个多步骤智能体场景里把任务成功率从 53% 直接提到 99.3%。作者说这背后有篇被 ACM CAIS ’26 录用的论文撑腰,覆盖了 97 种模型和后端组合,每个场景跑了 50 次。不过正文没...

推荐理由:我会先打个折:这是单篇 Show HN 和 GitHub 仓库的展示,还没看到第三方复现或更严苛的对抗测试,所以别直接当生产保证。但它的价值很实在——用 5 层护栏把 Ministral 8B 在代理任务上的表现从不及格拉到接近满分,覆盖了 97 种配置,对想在自己服务器上跑小模型做工具调用的团队来说,省钱的想象空间很大。正文没披露护栏本身会引入多少额外延迟和计算开销,这点先别太激动。

5月18日星期一

AI HOT 精选

IBM 在 Hugging Face 上线开放智能体排行榜,直接对比整套系统谁更省钱能干

IBM Research 做了一个开放排行榜,不只看模型本身,而是把智能体整套系统(模型、工具、规划、记忆、纠错)拉出来比。它用六个不同场景的基准测试来打分,同时公布质量和运行成本,让你知道哪个方案真值得部署。正文没披露具体模型分数、数据集大小和评测日期。

推荐理由:我会先打个折:信息量其实不多,更像一个预告。但“开放智能体排行榜”这个动作本身有话题性,因为 agent 评测一直缺公开基准,IBM 把它挂上 Hugging Face,至少让对比有了个起点。正文没披露分数和数据集规模,所以别急着拿它当权威结论,先当个信号看。

r/LocalLLaMA

用 4B 小模型搭了个编程助手,跑分冲到 87%,作者把方法全摊开了

作者用 Gemma 4 的 4B 参数模型做了一个叫 SmallCode 的编程 agent,在 100 道题的基准测试里解出了 87 道。核心不是模型本身,而是给模型配了一套复合工具:写完代码自动编译、跑 lint 检查,出错就根据报错信息改;同一个任务连续失败两次后,会自动把问题拆成更小的子任务再试。遇到实在搞不定的题,还能把任务转给 Claude...

推荐理由:这是一篇 Reddit 个人实验帖,不是正式论文。我会先打个折:基准测试的具体身份和复现细节没给全,87 分到底是在哪个测试集上跑的、对比基线是谁,正文没披露。但作者把做法讲得很实在——用复合工具、编译反馈当纠错信号、任务拆解策略,这些工程思路对想自己折腾小模型编程智能体的人有直接参考价值。信息有缺口,但第一手实验的干货够,放在 featured 档合适。

5月17日星期日

r/LocalLLaMA

MiroThinker-1.7 开源版深度研究 agent 发布,基于 Qwen3 MoE,mini 版总参数量 30B 但推理时只激活 3B

MiroMindAI 把他们的深度研究 agent MiroThinker-1.7 放出来了,权重直接挂在 HuggingFace 上。mini 版挺有意思:总参数量 30B,但用了 MoE(混合专家)架构,实际干活时只激活 3B 参数,所以对本地消费级硬件比较友好。上下文管理这块,他们用了滑动窗口 K=5 加 episode 重启的策略,相当于每轮对...

推荐理由:这条消息来自 Reddit 帖子,实验室也不是一线大厂,所以重要性我打个折,但信息量够上 featured。开源权重加上 MoE 的 30B/3B 配置,对想自己跑 deep research 的人是个实在的钩子;滑窗和 episode 重启的上下文管理方案也给了可复现的细节。正文没披露具体 tok/s 数据,这点先别太激动,但话题本身会引发本地部署的性能讨论,值得放出来。

AI HOT 精选

AntLingAGI 开源万亿级推理模型 Ring-2.6-1T,专为智能体工作流设计,5 月底前在 OpenRouter 打二五折

AntLingAGI 把 Ring-2.6-1T 开源了,同时上线了 OpenRouter 平台。这个模型参数量达到万亿级别,不是单纯回答问题,而是冲着让模型进业务流程干活去的:规划步骤、调用工具、维持长上下文、跑完复杂任务。训练用了 Async RL 和 IcePop 两种方法,正文没展开解释具体怎么做的。5 月底前在 OpenRouter 调用有 ...

推荐理由:我会先打个折——正文没给基准测试、许可证和上下文窗口,所以分数不动。但 HKR 三项都站得住:标题有钩子,信息有增量,对智能体开发者有实际参考价值。75% 折扣和 OpenRouter 上线是实打实的动作,Async RL 和 IcePop 训练方法也给了技术线索,只是缺验证数据,这点先别太激动。

5月15日星期五

r/LocalLLaMA

网友用百万级 token 实测 Qwen 3.6 35B MTP 版,速度比之前快了约一半

一位 Reddit 用户分三次跑了超过一百万 token 来测 Qwen3.6-35B-A3B 的多 token 预测(MTP)版本,上下文拉到 300k,量化用 KV Q8_0。他给出的结论是生成速度大概比之前测过的版本快了 1.5 倍。不过帖子正文被 Reddit 的安全策略挡了,看不到具体测试环境、硬件配置和任务类型,所以这个提速是在什么条件下跑...

推荐理由:一个 Reddit 用户拿 Qwen3.6-35B-A3B MTP 版跑了三轮百万 token 的测试,在 300k 上下文、KV Q8_0 量化下,速度大概是旧测试的 1.5 倍。这个多 token 预测版(一次预测多个 token)确实在本地跑出了可感知的加速,但正文没披露功耗、显存占用和不同量化级别的对比,所以这个 1.5 倍先别太激动,得看自己硬件上复现怎么样。帖子本身有细节、有实测,对想省钱跑长上下文的开发者有参考价值,但毕竟只是单篇个人测试,重要性我给 74。

5月13日星期三

Hacker News 首页

Needle:一个 26M 参数的小模型,专门做工具调用,能在普通电脑上跑到每秒 1200 token

Cactus 开源了一个叫 Needle 的工具调用模型,参数量只有 2600 万,小到可以在消费级设备上跑。它的推理速度很快,预填充阶段每秒能处理 6000 个 token,生成阶段每秒 1200 个 token。这个模型是从 Gemini 的工具调用能力蒸馏出来的,相当于把大模型怎么调用 API、怎么选函数这套本事,压缩进了一个极小的模型里。模型权...

推荐理由:我会先打个折:这是 Show HN 和 GitHub 自报的数据,没有独立评测或大厂背书,所以分数没往上走。但亮点很直接——把 Gemini 的工具调用蒸馏进一个 26M 的小模型,prefill 6000 tok/s、decode 1200 tok/s,MIT 开源,意味着你可以在自己电脑甚至手机上跑一个能调工具的 agent,不用连云端。正文没披露训练用了多少样本、工具调用准确率对比基线是多少,也没说支持哪些工具类型,这些缺口让实际可用性还看不清。不过就冲这个尺寸和速度,对做本地 agent 的人来说值得看一眼。

r/LocalLLaMA

Needle:他们把 Gemini 的工具调用能力蒸馏进了一个 26M 小模型

Cactus Compute 开源了一个叫 Needle 的工具调用模型,参数量只有 2600 万。它用 Gemini 当老师,把怎么调用外部工具的能力蒸馏出来,塞进一个没有传统 MLP 层、靠注意力机制和门控结构的小模型里。在消费级设备上跑,预填充速度能到每秒 6000 个 token,解码速度每秒 1200 个 token。不过正文被 Reddit...

推荐理由:我会先打个折:目前只有一篇 Reddit 帖子作为来源,团队也不算知名,所以分数没给太高。但亮点很实在——一个 26M 的模型声称能复现 Gemini 的工具调用行为,速度数据也漂亮,prefill 6000 tok/s、decode 1200 tok/s,在消费级设备上跑。结构上做了减法,不用 MLP,只留注意力和门控,这点如果属实挺省钱。正文没披露详细的训练数据和完整的基准测试对比,所以“蒸馏效果到底多好”还得看后续验证。

5月12日星期二

AI HOT 精选

Mira 的新公司 Thinking Machines 发了个原生多模态交互模型,前台 200 毫秒一响应,后台跑长线推理

这个模型把音频、视频、文字直接吃进去,不用再靠 agent 把一堆独立模型串起来。前台交互模型每 200 毫秒处理一次输入,保持对话的实时感,用户可以随时打断;后台推理模型负责长程规划和调工具。正文没披露具体参数量、训练数据和成本,也没给评测对比,所以实际效果和泛化能力还得看后续公开信息。

推荐理由:我会先打个折:正文没披露定价、开放范围和具体 benchmark,所以只能按现有信息给到 87。亮点在于 Thinking Machines 没有只发模型权重,而是给了一套前台 200 毫秒交互节点加后台推理的分层设计,原生多模态输入不是后期缝合的。这对正在折腾实时多模态 agent 的团队来说,至少提供了一个可参考的架构思路,但没看到代码或论文之前,不宜再往上拉。

r/LocalLLaMA

Reddit 网友实测 288 次模型调用,把本地模型输出 JSON 时的各种翻车方式全整理了一遍,还写了个修复库

Reddit 用户 kexxty 用 OpenRouter 跑了 288 次结构化输出测试,覆盖 Llama 3、Mistral、Command R、DeepSeek、Qwen 等模型,发现本地模型和纯 API 模型在 JSON 上出的错其实差不多。他把这些失败归类后,写了一个叫 outputguard 的 Python 修复库,用 MIT 协议开源。...

推荐理由:HKR 三项都成立:288 次调用不是随便跑跑,outputguard 库和 15 步修复链给了可复用的实操细节。信息源是单篇 Reddit 帖子,没有第三方验证或论文背书,所以放在 72-77 的 featured 档位,不往上走。

5月11日星期一

AI HOT 精选

AntLingAGI 放出万亿参数模型 Ring-2.6-1T,5 月 15 日前在 OpenRouter 免费用

Ring-2.6-1T 是一个万亿参数模型,主打可调“思考强度”——你可以手动控制它多想一会儿还是少想一会儿,在回答质量、token 消耗和响应速度之间自己取舍。模型专门为智能体场景做了优化,支持多步执行和工具调用,适合高频工作流。官方说它能处理数学逻辑和科研类任务,但正文没给出具体跑分或对比数据。目前通过 OpenRouter 免费开放,截止到 5 ...

推荐理由:这条发布信息量偏薄,正文没给基准测试、定价、架构或训练细节,所以重要性我打了个折,没给更高。但万亿参数这个量级本身就有话题性,加上 OpenRouter 上的限时免费,对想快速试用的开发者很友好。可调思考强度和工具调用这两点,说明它在往智能体落地靠,不是单纯刷榜的模型。整体判断是:值得关注的一次模型发布,但别急着当里程碑,等实测数据出来再说。

新智元 · 公众号

Agent 评测的下半场:为什么需要一个「活的」Benchmark?

这篇文章的正文被微信环境验证挡住了,实际内容没拿到。从标题和现有英文摘要看,它讨论的是 Claw-Eval-Live 这个基准测试,用 105 个任务测了 13 个前沿模型,表现最好的模型通过率也没超过 70%,HR 类任务平均通过率只有 6.8%。核心观点是静态评测不够用了,需要能动态更新的“活”基准来测 AI 智能体。但具体怎么个“活”法、任务怎么...

推荐理由:HKR 三项都成立:活的 benchmark 这个切入点具体,不是又一篇刷榜通稿;数据量够,105 道任务和 13 个模型的覆盖面说得过去,HR 任务 6.8% 的通过率尤其扎眼;它踩中了 Agent 从 demo 到落地之间那个“到底能不能用”的信任问题。Claw-Eval-Live 本身还没经过大规模实战检验,所以放在 featured 偏低的位置比较合适。

5月9日星期六

r/LocalLLaMA

用 12GB 显存跑 Qwen3.6 35B A3B,llama.cpp MTP 实测跑到 80 tok/s、128K 上下文

Reddit 用户 janvitos 在 RTX 4070 Super(12GB 显存)上跑 Qwen3.6-35B-A3B-MTP-GGUF,搭配 llama.cpp 的一个 MTP 拉取请求。他贴出的实测数据是每秒 69.2 到 81.9 个 token,草稿接受率在 0.694 到 0.947 之间,上下文长度拉到 131072。关键设置是 -f...

推荐理由:这条帖子是单用户实测,不是官方数据,验证强度有限,但数字和配置都摆出来了,可复现。对想在家用显卡上跑长上下文模型的人来说,是个很具体的参考点。我会先打个折,毕竟只有一个人晒结果,但 12GB 显存跑 35B 还能 80 tok/s,这点确实让人想试试。

新智元 · 公众号

港中文开源 ArbiterOS:在模型动手前先拦一刀,高危操作拦截率拉到 92.95%

港中文 CURE 实验室把 ArbiterOS 开源了,这是一个给 AI 智能体(Agent)用的运行时治理内核。它的思路很直接:不让模型直接拿到执行权,而是在模型生成操作指令后、系统真正执行前,插一层拦截、解析、治理和观测。在 OpenClaw 的安全测试任务上,这套机制把高危步骤的拦截率从原来的 6.17% 提到了 92.95%。正文没披露具体延迟...

推荐理由:这篇不是大厂模型发布,是港中文 CURE Lab 的一个开源 agent 安全内核。我会先打个折,因为目前只在 OpenClaw 一个环境上测过,泛化性还没验证。但它的切入点很巧——不是事后审核,而是运行时拦截高危步骤,把拦截率从 6.17% 拉到 92.95%,这个提升幅度够大,说明原来的 agent 几乎不设防。对做 agent 安全或工具调用治理的人来说,这是个能直接拿来改的参考方案。信息量够,数字有解释,没有吹概念,所以放在 featured 档,重要性给 80 是合适的。

5月7日星期四

r/LocalLLaMA

Reddit 网友扒了 922 条 agent 任务记录,发现 DeepSeek v4 省钱的关键不在标价,在缓存命中率

一位 Reddit 用户分析了 922 条 agent 任务的实际调用记录,对比了 DeepSeek v4 Flash 和 Opus 4.7 的花费。两个模型每个任务都要吃掉大约 96 万 token,但 DeepSeek 单任务成本只要 0.01 美元,Opus 4.7 却要 1.52 美元。差距不在输入输出的标价,而在缓存:DeepSeek 的缓存...

推荐理由:这篇不是比谁模型强,是比谁缓存用得聪明。Reddit用户跑了922条智能体任务轨迹,发现DeepSeek v4 Flash单任务成本0.01美元,Opus 4.7要1.52美元,差了152倍。两边平均token消耗都接近96万,但DeepSeek缓存命中率97%,Opus只有87%;更关键的是缓存读写价格比,DeepSeek是0.02,对方是0.08。也就是说,标价看着便宜不算真便宜,能把重复计算省下来才是省钱的地方。正文没披露任务类型和采样方式,这点先别太激动,但缓存机制这个观察本身值得盯。

5月6日星期三

r/LocalLLaMA

单张 RTX 5090 跑通 Qwen3.6 27B:NVFP4 量化加 MTP 投机解码,200k 上下文实测 73.6 tok/s

一位 Reddit 用户在单张 32GB 显存的 RTX 5090 上,用 vLLM 跑通了 Qwen3.6 27B 的 NVFP4 量化版,并验证了 200k 上下文长度。配置上用了 fp8_e4m3 的 KV 缓存、FlashInfer 和 3 个投机 token 的 MTP。10 次 200k 上下文跑分平均生成速度 73.6 tok/s,首 t...

推荐理由:我会先打个折:来源是 Reddit 用户自测,不是官方报告,但配置和日志都贴出来了,可复现性不低。真正值得盯的是显存边界——KV 缓存占了 8.3GiB,整卡吃到约 30478MiB,几乎榨干 32GB。这说明 NVFP4 量化确实把 27B 模型压进了消费级显卡,而且 200k 上下文不是摆设,十次都跑稳了。不过 TTFT 70 秒意味着首 token 要等一分多钟,实际用起来体验会打折扣。这点先别太激动,等更多卡型验证。

5月5日星期二

r/LocalLLaMA

分隔符+严格提示词让 Gemma 4 防注入率从 21% 飙到 100%,15 个模型 6100 次测试的基准结果

一位 Reddit 用户用 15 个模型、7 种攻击方式跑了 6100 多次提示注入测试。核心做法是把不可信文档用一长串随机分隔符包起来,再配上严格指令。Gemma 4 E4B 的防御率直接从 21.6% 拉到 100%。这个基准的指标很实在,只看“拦截成功数除以(拦截成功数+拦截失败数)”,可复现。正文没披露其他模型的具体分数,也没说攻击样本怎么构造...

推荐理由:我会先打个折:这是单个 Reddit 用户发布的基准,不是机构报告,但实验设计很实在。核心发现是用长随机分隔符把不可信文档包起来,再在系统提示里硬性要求模型只当数据读,Gemma 4 E4B 的防御率直接从 21.6% 拉到 100%。防御率定义是 blocked/(blocked+failed),这点交代得清楚。正文没披露攻击样本的具体构造和失败案例的细节,所以别急着当通用结论,但作为可复现的工程思路,对做 agent 和 RAG 的人有直接参考价值。

r/LocalLLaMA

DeepSeek V4 Pro 在 FoodTruck Bench 上追平 GPT-5.2,晚了十周但成本只要十七分之一

Reddit 上有人发帖说,DeepSeek V4 Pro 在一个叫 FoodTruck Bench 的智能体评测里排到第四,中位数得分跟 GPT-5.2 只差 3%,但跑一轮任务的成本大概是后者的十七分之一。这个评测跑了 30 天,模型要用 34 种工具、带持久记忆、每天还得做反思,比较贴近真实业务流程。帖子还提到小米的 MiMo v2.5 Pro ...

推荐理由:这篇是一个 Reddit 用户自己搭的 benchmark 结果,不是官方发布,所以我会先打个折。但内容本身挺有意思:DeepSeek V4 Pro 在一个叫 FoodTruck Bench 的 30 天 agent 测试里排第 4,跟 GPT-5.2 的中位数只差 3%,API 成本却低了大约 17 倍。测试用了 34 个工具、持久记忆和每日反思,不是简单的一问一答。小米 MiMo v2.5 Pro 也进了前 6,5 次全存活,中位 ROI 1019%,单次跑完只要 $2.41。正文没披露样本量和方差,所以“匹配 GPT-5.2”这个结论先别太激...

5月4日星期一

r/LocalLLaMA

M3 Ultra 加 DGX Spark,能拼出一台 M5 Ultra-lite 吗?

Reddit 有人拿 DGX Spark 和 M3 Ultra 在 llama.cpp 里跑分,统一用 pp16384 上下文。Spark 比 M3 Ultra 快 1.4 到 3.4 倍,看模型:Qwen 27B 跑到 778 token/秒,M3 Ultra 是 340;Mistral 128B 跑到 241,M3 Ultra 只有 72。有个调参...

推荐理由:数据来自 Reddit 单帖,权威性打折扣,但测试设置清楚、模型覆盖广、提速幅度直观,对正在掂量买 M3 Ultra 还是 DGX Spark 跑本地推理的人有参考价值。我会先打个折,因为没看到多轮对话或长上下文压力测试,但就当前信息来说,featured 低空过关没问题。

5月3日星期日

r/LocalLLaMA

本地模型后端生成基准测试:GLM、Qwen、DeepSeek 函数调用能力对比

AutoBe 发了一个后端代码生成基准,用函数调用来测模型设计数据库和 API 的能力。qwen3.5-35b-a3b 在测试里跟 gpt-5.4 打平,但样本量只有 4 个项目,而且评分工具是自己写的,可能有偏向。一个商场项目跑下来要消耗 2 到 3 亿 token,按 GPT 5.5 的定价算,单模型成本在 1000 到 1500 美元。正文没披露...

推荐理由:我会先打个折:数据来自 Reddit 帖子,只测了 n=4 个项目,评测 harness 还是自己写的,偏差肯定有。但 35B 模型追平 gpt-5.4 这个结论够抓眼球,加上单任务 1000 多美元的成本和笔记本可跑的硬限制,对做本地部署的人有参考价值。正文没披露具体任务类型和评分标准细节,这点先别太激动。