这个开源库把 Llama 3 70B 这样的大模型按层拆开，每次只加载一层到显存里算，算完再换下一层，所以一张只有 4GB 显存的普通显卡也能跑推理，不用多卡并联。它支持 Llama、Mistral、ChatGLM 等主流架构，直接兼容 HuggingFace 上的模型。代价是速度会慢不少，但把本地跑大模型的硬件门槛压到了笔记本级别。
推荐理由：把 70B 模型拆成一层一层轮流塞进显存，不是新思路，但做成开箱即用的库确实省事。正文没给具体延迟数据，速度会打折这点得心里有数，所以分数没往上拉。
Google DeepMind 开源了 Gemma 4 12B，一个 120 亿参数的多模态模型。它最大的变化是去掉了传统的独立视觉/音频编码器，把所有输入统一交给 Transformer 处理，架构更简单。模型能直接听懂语音，不再需要先转文字。官方说它用 Apache 2.0 协议开源，在 16GB 显存或统一内存的笔记本上就能跑。性能方面，正文没给...
推荐理由：我会先打个折：正文没给性能对比和具体 benchmark，所以没法判断它到底多强。但架构上的变化是实打实的——把视觉和音频编码器都砍掉，统一用 Transformer 处理，等于简化了管线，也降低了工程复杂度。能在 16GB 显存或统一内存的笔记本上跑，对个人开发者和中小企业是个实在的卖点。原生语音输入意味着不用再串一个 ASR 模块，做语音助手或实时对话应用会更轻量。Apache 2.0 协议也扫清了商用顾虑。整体看，这是一个有明确技术亮点的开源发布，但缺少性能验证，激动之前得等实测数据。
有个玩家在单张 AMD MI50 上跑 Qwen3.6-27B 模型，用 Q8 或更低精度的量化版本时，发现显卡的算力没吃满。他想到一个取巧的办法：不额外加载一个小模型做投机解码，而是让同一个模型同时跑两路计算，假装自己有两份模型副本。结果生成速度直接从 19.4 token/秒翻到 38.1 token/秒。正文没披露具体实现细节和显存占用变化，所以...
推荐理由：这是个 Reddit 玩家的第一手实验，有数字有假设，但没经过正式验证。正文没披露具体实现细节和显存变化，也没有代码或更广的复现结果，所以先放在 featured 这一档。
Luce Spark 是一个开源方案，能让 Qwen3.6 35B-A3B 这种规模的混合专家模型在 RTX 3090 上只占 13.3 GiB 显存，跑出约 100 tok/s 的速度。它的做法是把模型里经常被用到的“热门专家”常驻在 GPU 显存里，不常用的“冷门专家”留在系统内存，需要时再异步搬运到 GPU 上一个固定大小的缓存区，搬运过程会和计...
推荐理由：标题本身就是一个强钩子，35B MoE 塞进 16 GB 卡还免掉 offload 税，对玩本地推理的人来说吸引力很大。文章把技术思路翻译得很清楚：把经常被调用的专家留在 GPU 上，不常用的放内存，用的时候再异步搬进一个固定大小的缓存区，搬运和计算重叠进行，所以能跑到约 100 tok/s，峰值显存只吃 13.3 GiB。不过信息源主要来自 Reddit 帖子，没有第三方复现或更严谨的基准测试，所以重要性先给到 78，等有更多验证再往上调。
作者在单张 RTX 5090 上跑了 Qwen3.6-27B，用 DFlash 做投机解码（让一个小模型先猜答案，大模型再核对，省时间），同时压缩 KV 缓存（把模型记住的上下文瘦身，省显存）。结果最高提速到 3.26 倍。用 q4_0/turbo4 量化时速度是原来的 3.18 倍，WikiText-2 上的困惑度只涨了 0.02%，基本没掉精度。不...
推荐理由：作者在消费级新卡上实测了一套组合拳：用小模型先猜答案再让大模型核对（投机解码），同时把模型记的上下文瘦身（KV 缓存压缩）。结果速度翻了三倍多，精度几乎没掉。这对想在本地跑大模型的人来说是个很实在的参考，数据也够具体。不过来源只有 Reddit 一个帖子，我会先打个折，别当正式论文看。
一位 Reddit 用户拿 qwen3.6-27b-autoround-int4 模型做测试，对比单张 3090 和两张 3090 的表现。在没装 NVLink、走 8x/8x PCIe 通道、P2P 自动开启、张量并行设为 2 的条件下，叙事类文本的解码速度从 53 token/秒涨到 94 token/秒，代码类解码从 62 token/秒涨到 1...
推荐理由：我会先打个折：这只是 Reddit 上一个用户的单次测试，没换模型、没换卡型复现，所以别急着当通用结论。但它的价值在于给了一个很具体的参考点——在没桥接器、走普通 PCIe 通道的情况下，qwen3.6-27b 的 int4 量化版用张量并行跑，解码速度几乎翻倍。对正在纠结要不要加卡跑本地推理的人来说，这个数据比厂商白皮书实在。正文没披露功耗、延迟波动和长文本下的表现，这些缺口让结论只能停在“值得自己试一下”的程度。
OpenCV 5 最大的变化是换了一套全新的 DNN 引擎，从原来的逐层执行改成基于计算图的架构，能做算子融合，跑 Transformer、视觉语言模型和大语言模型都成了原生能力。ONNX 算子的覆盖率从 4.x 时期不到 23% 一下子拉到 80% 以上，以前很多导不进来的模型现在能直接用了。另外硬件加速层也重新整理了，厂商可以直接插优化后的计算内核...
推荐理由：HKR 三项都站得住：OpenCV 加原生大模型支持是个实打实的跨界信号，计算图引擎和 ONNX 覆盖率暴涨是硬核知识增量，本地推理和兼容性又切中部署痛点。作为大版本更新，重要性够上 featured，但还没到模型实验室发新作那种必写级别。
一位 Reddit 用户在自己的笔记本（RTX 4060 8GB 显存）上跑了 Qwen3.6-35B-A3B 这个混合专家模型。他试下来发现，加上 --no-mmap 这个启动参数后，生成速度直接从大约 11 tok/s 飙到 43 tok/s，翻了近四倍。另外他还用了一个叫投机解码的技巧，拿更小的 Qwen3.5-0.8B 当“草稿模型”先快速出初...
推荐理由：HKR 三项都站得住：笔记本跑 35B 模型是个很直观的 hook，速度提升的数字是硬干货，而且本地部署圈对这类省钱省显存的技巧天然有共鸣。信息来源是 Reddit 单帖，不是正式评测，所以分数没往上拉。
Google AI for Developers 放出了一个叫 Magenta RealTime 2（MRT2）的实时音乐模型，权重开放，推理引擎也开源了。你可以用 MIDI 键盘弹、打字给提示词，甚至用手势控制它来生成音乐。它在 MacBook 上原生跑，延迟压到了 200 毫秒以内，这个速度对实时演奏来说基本跟手。配套还给了应用和插件套件，到手就能...
推荐理由：HKR 三项都过：Google Magenta MRT2 有实打实的实时音频钩子、开放权重和低于 200ms 的本地延迟。对创意 AI 开发者吸引力很强，但本质上是一封公开信和政策诉求，不是已生效的法律，法案文本和执行时间表都没披露，所以放在 featured 而不是更高一级。
作者开源了一个叫 Vulpine 的编译器，能把 Python 源码转成一种专门给代码模型看的紧凑表示。在约 1.3 万个留出测试文件上，token 用量平均减少了 14%，而且 99.8% 的情况下能无损还原回原本的抽象语法树结构。代码已经挂在 GitHub 上。不过正文没披露具体测试了哪些模型、省下的 token 对生成质量有没有影响，这点先别太激动。
推荐理由：这个 Vulpine 编译器把 Python 转成模型更容易消化的表示，实测能省 14% 的 token，往返还原成功率也高。我会先打个折：帖子没披露在真实下游任务里效果如何、编译速度多快、那 0.2% 的失败案例长什么样，所以目前只能当个有潜力的早期实验看。但思路本身对压降代码 agent 的推理成本有参考价值，数字也给了，值得从业者扫一眼。
Miso One 放出了一个 8B 参数的开源 TTS 模型，主打一次语音克隆——给它一小段音频样本就能模仿那个人的说话风格和节奏。推理延迟标称 110ms，对实时对话场景算可用。模型权重直接挂在 GitHub 上，你可以自己部署，音频数据不用上传到第三方服务器。官方说 API 之后会出，但正文没提价格和上线时间。
推荐理由：我会先打个折：这是单条推文来源的发布，没有跑分对比、没写许可证细节、也没有第三方复现结果。但8B参数、110ms延迟、能自托管的一次语音克隆这几个事实本身够硬，放在featured刚好，再往上就缺验证了。
微软在模型发布卡里加了个新指标：平均 token 用量。他们的新模型在 SWE-Bench Verified 上拿了 71.6 分，但消耗的 token 只有 Claude Haiku 4.5 的三分之一。这意味着现在衡量模型得看两个维度：活儿干得怎么样，以及干这活儿花了多少钱。靠烧 token 刷榜、靠补贴打价格战的时代在翻篇。Uber 四个月烧光预...
推荐理由：H、K、R 三条都站得住。用“跑分除以 token 消耗”当钩子，比单纯报分数更让人想点进去看。71.6 分和三分之一的 token 量是实打实的新信息。不过文章没给出完整的测试配置和具体定价对比，所以重要性停在 78 分，我会先打个折，不往更高拉了。
有人在 RTX 4060 Ti 16GB 上实测了 Gemma 4 E4B 模型。用 LiteRT 引擎跑文字生成，平均每秒能出 157.2 个 token，而用 llama.cpp 的 Q4 GGUF 格式只有 66.3 tok/s，快了大约 2.4 倍。不过图片标注任务就没这么乐观了：处理 111 张全分辨率图片，LiteRT 耗时约 72 秒，Q...
推荐理由：这是一篇个人在 Reddit 上发的实测，不是官方报告，权威性有限，所以分数没往上拉。但 H、K、R 三项都站得住：速度对比抓眼球，测试条件和数据都写清楚了，对想在自己机器上跑 Gemma 的人有直接参考价值。我会先打个折，因为只有单卡单次测试，没提功耗和精度变化，但作为一手体验已经够用。
这篇帖子本身被 Reddit 的安全策略拦住了，正文内容没抓到，只留下一个“被网络安全屏蔽”的提示。从标题和已有的英文摘要看，作者用 LM Studio 的接口测了 20 个小模型，统一在 6GB 显存的 RTX 4050 上跑，每个模型在 1k、8k、32k 三种上下文长度下各测了 5 次速度。目前能看到的唯一具体数据是 unsloth/lfm2.5...
推荐理由：我会先打个折，来源是 Reddit 帖子，权威性一般，但内容本身很实在。作者没搞虚的，就是拿 20 个模型在 LM Studio 里用 6GB 4050 实测，把速度、显存占用都列出来。对想本地跑小模型的人来说，这比看论文里的 A100 数据有用得多。正文没披露测试用的量化精度和具体 prompt，这点信息缺口让结论不能直接照搬，但作为一张低显存显卡的参考表，已经够用了。
一位 Reddit 用户用两台华硕 GX10（DGX Spark）组了个小集群，通过 vLLM 加载 DeepSeek-V4-Flash 模型。在 256K 上下文窗口、开启多 token 预测（MTP=2）的设置下，测得预填充速度 1680 token/s，解码速度 39.8 token/s。部署用了张量并行（TP=2），两台机器通过 RoCE 网络...
推荐理由：这不是行业大新闻，但胜在是第一手实测，配置细节都给了：TP=2、RoCE 网络、fp8 KV 缓存、256K 上下文，还估出了约 1M tokens 的安全 KV 上限。对想对比自己机器性能的人来说，这些数字比官方宣传实在。HKR 三项都踩中，放在低 featured 位置刚好。
开发者 mudler_it 把英伟达的 Parakeet 语音转文字模型用 C++ 和 ggml 重写了一遍，彻底甩掉了 Python 和 PyTorch。他测试下来，在 f32 和 f16 精度下输出结果和原版 NeMo 逐字节一致，但速度更快，大一点的 TDT 和混合模型在 GPU 上能跑到大约 5 倍加速。模型还支持 GGUF 量化，提供了 f1...
推荐理由：我会先打个折：这是个人移植项目，不是 NVIDIA 官方出品，长期维护和后续模型支持还得看社区。但亮点很明确——输出字节级对齐 NeMo，量化后跑得更快，而且不用碰 Python 环境。对想在树莓派、本地服务器或离线场景跑语音转文字的人来说，这是个省事的选择。正文没披露量化后的精度损失有多大，这点先别太激动。整体看，技术验证扎实，痛点打得准，放在 featured 低位合适。
一位老哥在 RTX PRO 6000 显卡上跑了 MTP（多 token 预测，一次猜好几个词来加速生成）的测试。他用 vLLM 跑 Gemma 4 31B 模型，开了 MTP 后速度从每秒 39.69 个 token 飙到 132.52 个，快了 3.34 倍。测试是跑 10 次、每次生成 1500 个 token 取的结果。不过帖子没提生成质量有没...
推荐理由：这是一篇第一人称的硬核速度测试，有硬件型号、模型、框架和明确的 tok/s 对比，H/K/R 三点都踩中了。我会先打个折：来源是个人博客，权威性一般，而且质量、显存这些关键指标正文没披露，所以分数压在 featured 低位是合理的。
OpenAI 发了 gpt-realtime-translate，一个专门做语音翻译的模型。你对着它说 70 多种语言里的任意一种，它能直接用 13 种目标语言把语音播出来。OpenAI 说大模型虽然强，但特定任务还是得上专用模型。目前这个功能已经在智能眼镜上跑起来了，不过正文没披露延迟、准确率和具体硬件细节。
推荐理由：我会先打个折：正文没提延迟、定价和 API 开放时间，所以实际能不能用、贵不贵还不知道。但 OpenAI 把实时翻译塞进智能眼镜，70多种语言进、13种语言出，这个组合本身是个挺实在的进展，值得从业者看一眼。
OpenRouter 的月度统计显示，DeepSeek 有三款模型进了前十，加起来的 Token 消耗量超过 17 万亿。其中 V4 Flash 一个模型就占了 9.13 万亿 Token，用量很猛。文章还提到华为昇腾的 MegaMoE 算子，在 DeepSeek V3.1 和 Qwen3-235B 的测试里，把预填充（Prefill）吞吐量提升了 2...
推荐理由：HKR三项都成立：17万亿tokens的钩子加上OpenRouter排名和昇腾Prefill提升的具体数字，信息量够。分数定在82，因为算力自主的叙事很强，但正文没披露测试的可复现条件，这点先别太激动。
用户 old-mike 在一张 RTX 3060 12GB 显卡上，用 spiritbuun 的 llama.cpp 优化分支和 mudler 的 APEX 量化模型，成功跑起了 17.3GB 的 Qwen3.6-35B-A3B。在已填充 72K 上下文时，生成速度达到 37.17 token/秒；上下文塞到 129K 时，速度仍有 28.08 tok...
推荐理由：HKR 三项都踩中了。一个 Reddit 用户用消费级显卡跑通 35B 大上下文，还给出了速度和困惑度，对本地推理圈子是实打实的参考。信息来自单篇帖子，影响范围也就在本地推理场景，所以放在 featured 而不是 P1。
Mistral 整合了 Emmi AI 团队，发布了一个面向工业工程的物理 AI 基础模型。它能根据几何结构、边界条件或测量数据，在单张 GPU 上用几秒钟预测出完整的物理场（比如温度、应力分布）。正文没披露具体架构、参数量、训练数据规模和实测误差范围，也没给出跟传统数值仿真在精度和速度上的量化对比，所以实际工程可用性还得看后续验证。
推荐理由：Mistral 这次没发新聊天模型，而是直接拿下一个物理 AI 团队，做工业仿真。我会先打个折：正文没披露具体模型名、基准测试、定价和开放方式，所以没法判断它比现有求解器到底准不准、省多少。但方向本身值得关注——如果单 GPU 秒级出完整物理场是真的，对西门子能源这类重工业客户来说，仿真迭代速度会快很多，成本也可能降一截。这点先别太激动，等他们放出可复现的结果再说。
一位 Reddit 用户在一台 300 美元买的联想 Ideapad Slim 3i 上，用纯 CPU 跑 Qwen 3.5 35B 模型（Q4_K_S 量化版），推理速度达到了每秒 10.33 个 token。这台机器是 i3-1215U 处理器，板载 8GB 内存加一条 32GB DDR4 扩展内存。能跑出这个速度，主要靠几个操作：用 ik_lla...
推荐理由：我会先打个折：这是 Reddit 单帖，不是系统评测，复现性存疑。但信息本身很实在——一台 300 美元的联想轻薄本，用双核 CPU 跑 35B 参数的模型，推理速度能到每秒 10 个 token 出头。这个数字说明，如果场景对延迟要求不高，极低成本硬件也能把大模型跑起来。正文没披露上下文长度和内存占用，这点先别太激动。
Reddit 上有人放出了一个叫 dlmserve 的开源项目，MIT 协议，专门给扩散语言模型做推理服务。它第一个支持的模型是 LLaDA-8B-Instruct，这种模型生成文本的方式和常见的自回归模型不一样，是一步步“去噪”出完整回答。引擎对外提供兼容 OpenAI 的 /v1/chat/completions 接口，方便直接替换。性能方面，在批...
推荐理由：我会先打个折：目前只有 Reddit 一个信源，生态还很早期，所以分数没往上拉。但这条信息本身对玩本地模型的人挺实用——扩散语言模型一直缺好用的推理引擎，dlmserve 直接说自己是第一个，还给了 batch=4 下 2.5 倍 HF 吞吐、12GB 显存可跑这些具体数字，不是空喊口号。MIT 协议和 OpenAI 兼容接口也让试错成本变低。这点先别太激动，但值得放进雷达让读者知道有这么个东西出现了。
面壁智能联合清华和 OpenBMB 开源了一个 1B 参数的小模型 MiniCPM5-1B。它在 AA-Index（一个综合评测榜单）上的得分超过了所有参数不到 2B 的模型，甚至比 3 个月前发布的 Qwen3.5-2B 效果还好，参数量却只有后者的一半。这个模型用 INT4 量化后权重文件只有 0.5GB，可以直接在手机和浏览器里跑。它的基础模型是...
推荐理由：HKR 三项都站得住：有具体参数、量化尺寸和端侧运行条件，反差也够。不过它终究是一次小模型发布，影响力到不了旗舰模型级别，所以 featured 和 78 分是合适的。
Reddit 用户 hopbel 拿 Qwen3.6 27B 在 wikitext-2 上跑了一组 16k 上下文的近似 KLD 测试，想看看 KV 缓存量化和模型权重量化哪个更影响输出质量。他用 Q5_K_M 权重当基准，对比了两组配置：一组是 Q5_K_S 权重配 q4_0 的 KV 缓存，KLD 分数 0.016304；另一组是 Q4_K_XL ...
推荐理由：这篇 Reddit 帖子自己跑了一组对比实验，结论挺直接：KV 缓存量化带来的质量损失没那么可怕，模型本身的量化等级才是大头。数据给得清楚，Q5 模型加低精度 KV 缓存，KLD 反而比 Q4 模型加全精度 KV 缓存更低。我会先打个折，这只是一个模型在 wikitext-2 上的近似 KLD，不是严格消融实验，但作为一手测试，对玩本地部署的人有参考价值。正文没披露推理速度或显存占用的具体数字，这点比较可惜。
这个仓库用一张 RX 6900 XT（16GB 显存）跑 llama.cpp，后端是 ROCm/HIP，专门验证 AMD 卡在本地跑大模型的实际表现。目前放出的一个亮点是 Qwen3.6 35B-A3B 这个 MoE 模型，用 q8 格式缓存 KV 状态，能稳定撑到 131k 上下文窗口。正文没披露具体的推理速度、功耗和温度数据，所以性能上限和日常可用...
推荐理由：这是一条 Reddit 帖子，不是论文或官方报告。作者把测试仓库公开了，但正文只给了能跑起来的配置条件，没放推理速度、显存占用曲线或可复现的完整日志。我会先打个折：它证明了 16GB A 卡跑大上下文 MoE 模型可行，这点挺省钱，但别急着当生产参考，信息缺口还很大。HKR 三项都踩中了，作为一条给本地 LLM 玩家的实操线索，上 featured 没问题。
comanderxv 给 llama.cpp 开了个叫“experts first”的分支，专门优化混合专家模型（MoE）的显存调度。做法是把常用的专家模块提前缓存到显存里，实测用 RTX 2060（12GB 显存）跑 Qwen3.6-35B-A3B 模型，专家缓存命中率约 62%，生成速度从原来的 19 或 22 token/秒提升到了 26 tok...
推荐理由：HKR 三项都踩中了：钩子是一块 12GB 的老卡把 35B MoE 速度拉上来一截，有缓存机制和命中率数据撑着，话题又打在本地推理的成本神经上。不过这事目前还局限在本地推理的小圈子，所以放在 featured 档刚好，不用拔到必读。
智谱在 5 月 22 日给部分企业客户开放了 GLM-5.1-highspeed 接口，输出速度标称 400 tokens/s，说是目前大模型厂商里最快的。过去跑得快的模型通常能力会打折，这次智谱声称把旗舰模型的能力和低延迟同时塞进了生产环境。提速主要靠 GLM 团队和 TileRT 团队在三个层面做的系统优化：推理引擎重写了核心路径来提升单卡吞吐；调...
推荐理由：智谱扔出一个 400 tokens/s 的 API 速度数字，说是全球纪录，我会先打个折——正文没披露测试条件、并发数、上下文长度和定价，这些缺口让“纪录”暂时只能当个参考。但 GLM 和 TileRT 联手做系统级优化这件事本身有信息量，说明国产模型在推理加速上开始卷工程落地，不只是卷榜单。对从业者来说，速度快意味着同样任务花钱少、等得短，这点先别太激动，等看到实际压测和价格再判断值不值得切。
Fireworks 在 WebVoyager 上跑了 720 个浏览器智能体任务，发现平均有 22.9% 的推理调用属于无效消耗，他们管这个叫“Agent 执行税”——也就是为了完成任务，模型多做的无用功。具体到各家模型：MiniMax M2.5 每成功完成一个任务的成本比 Gemini 低了 2.3 倍；GLM-5 的任务成功率做到 57.1%；Ki...
推荐理由：HKR 三项都站得住：它把一个跑分现象包装成了可复用的采购指标，有具体数字支撑，而且直接回应了从业者在选型时对隐性成本的焦虑。信源是 Fireworks 自己的博客和 Reddit 讨论，不是第三方独立评测，所以重要性停在 74 分 featured 档，没往上拉。
腾讯放出了 Hy-MT2 系列翻译模型，有 1.8B、7B 和 30B-A3B 三个尺寸，支持 33 种语言互译。1.8B 小模型用上 AngelSlim 1.25-bit 量化后，存储占用压到 440MB，推理速度还快了 1.5 倍，适合本地跑。不过 Reddit 原帖被屏蔽了，正文没披露具体翻译质量评测和更多技术细节，这点先别太激动。
推荐理由：我会先打个折：Reddit 信源比较散，所以分数没再往上拉。但 440MB 这个数字太直观了，比单纯列三个模型尺寸更有传播力，从业者一眼就能算出部署成本。正文没披露量化后的翻译质量损失，这点先别太激动，但“小模型干翻译”这个方向本身值得关注。
腾讯放出了 Hy-MT2 多语言翻译模型，支持 33 种语言互译。7B 和 30B-A3B 两个版本在开源模型里翻译质量最好，比很多参数大几十倍的模型还强。更实用的是 1.8B 轻量版，用 AngelSlim 1.25-bit 量化技术把体积压到 440MB，主流手机芯片就能本地跑，推理速度比上一代快 1.5 倍。官方说这个轻量版性能超过了微软等商业翻...
推荐理由：腾讯这次放出的Hy-MT2，最抓人的点是1.8B模型经1.25-bit量化后只有440MB，能在主流手机芯片上本地跑33种语言互译。这对移动端开发者来说，意味着离线翻译、隐私保护和零服务端成本都有了现成方案。我会先打个折：正文没披露翻译质量基准、实际延迟和开源协议，所以没法判断它在真实场景里到底多能打。但光凭这个体积和语言覆盖，已经是个值得关注的端侧AI信号，只是离旗舰级发布还差一口气。
Cohere 的 Nick Frosst 在 Reddit 上发帖，正式推出了 Command A+。这是他们第一个混合专家（MoE）模型，用 Apache 2.0 协议开源。帖子里说，这个模型最大的卖点是效率，做了很极限的量化工作，在 1 到 2 张消费级 GPU 上就能跑得很流畅，对个人开发者和小团队比较友好。不过他也直说，模型的顶尖性能还有待打磨...
推荐理由：我会先打个折：正文没披露参数量、基准测试成绩和上下文窗口，这些关键指标全缺，所以重要性只能给到 74。亮点是 Cohere 终于把 Command-A 这条线捡起来，换成 MoE 架构还给了 Apache 2.0，量化后能在 1 或 2 张 GPU 上跑，对想自己部署的人是个实在消息。但信源只有 Reddit 讨论，没有官方技术报告或实测数据，这点先别太激动。
Anbeeld 用一张 RTX 3090 跑 Qwen 3.6 27B，在 64k 和 128k 上下文长度下测了 KV 缓存量化。先说结论：q4_0 在尾部 token 上的 KLD 比 q5_0 差了 32%，精度掉得明显；turbo4 比普通 q4_0 还慢 17%，显存却没省下多少，有点名不副实。q5_0 在精度和压缩率之间平衡得不错，但正文没...
推荐理由：我会先打个折：这篇测试只跑了一张 RTX 3090 和一个模型，结论不能直接套到其他卡或模型上。但它的好处是给了具体数字，比如 q4_0 在长上下文时尾部偏差比 q5_0 高 32%，turbo4 反而比 q4_0 慢 17%，对称 q8 可能白占显存。这些发现对玩本地推理的人有参考价值，不是泛泛而谈的评测。正文没披露更多硬件或复现细节，所以先别太激动，但作为社区一手数据，值得推给关注推理优化的人看一眼。
Forge 是一个 Python 框架，专门给自部署的大模型做工具调用和多步骤智能体流程。它给 Ministral 8B 这个开源小模型套了五层护栏，在 18 个多步骤智能体场景里把任务成功率从 53% 直接提到 99.3%。作者说这背后有篇被 ACM CAIS ’26 录用的论文撑腰，覆盖了 97 种模型和后端组合，每个场景跑了 50 次。不过正文没...
推荐理由：我会先打个折：这是单篇 Show HN 和 GitHub 仓库的展示，还没看到第三方复现或更严苛的对抗测试，所以别直接当生产保证。但它的价值很实在——用 5 层护栏把 Ministral 8B 在代理任务上的表现从不及格拉到接近满分，覆盖了 97 种配置，对想在自己服务器上跑小模型做工具调用的团队来说，省钱的想象空间很大。正文没披露护栏本身会引入多少额外延迟和计算开销，这点先别太激动。
地平线机器人实验室把一个人形机器人全身控制模型 HoloMotion-1 开源了，参数规模 4 亿，他们管它叫“机器人小脑”。这个模型用了 MoE 稀疏激活和 KV-cache 推理，把单步推理开销压下来，在端侧能跑到约 300FPS，比常见的 50Hz 控制频率高出一大截。训练数据来源比较杂，包括互联网视频、光学动捕、VR 遥操作和惯性动捕，经过统一...
推荐理由：HoloMotion-1 是一个开源机器人控制模型，4 亿参数能在端侧跑到约 300FPS，对做具身智能的团队来说是个可复现的参考。不过目前只看到动作生成能力，正文没披露在真实机器人上的成功率或延迟数据，实际部署效果还得等后续验证。整体偏技术发布，影响力集中在机器人圈子，放在 featured 档位合适。
作者用一张 RTX 3090 24GB 跑 Qwen 3.6 27B，最终留用了 ik_llama.cpp 搭配 Qwen3.6-27B-MTP-IQ4_KS.gguf 这个量化版本。在 156k 上下文、q8_0 KV 缓存并开启 MTP 的设置下，输入约 5900 token 的提示、生成 1024 token 时，预填充速度约 1261 tok/...
推荐理由：这是一篇个人实测，不是官方发布，所以传播面窄一些，但信息密度很高。作者在单张 3090 上把 Qwen 3.6 27B 压进 24GB 显存，还跑通了 156k 上下文，最终选了 ik_llama.cpp 加 IQ4_KS 量化。prefill 能到 1261 tok/s，decode 72.9 tok/s，对本地部署来说相当可用。后端对比部分把 llama.cpp 系和 vllm 的取舍讲清楚了，对想自己搭推理服务的人有直接参考价值。我会先打个折：这只是单人单卡的一次测试，没有多卡、没有生产环境压测，但作为选型参考够用了。
作者用 7 张混插显卡（RTX PRO 6000、PRO 5000、两张 5090 和三张改显存的 4090）测了三个推理引擎处理长上下文的效率。在 Qwen3.5-397B-A17B 模型上塞进 7.5 万 token 的上下文，vLLM 首 token 延迟 9.8 秒，预填充速度 7683 token/秒；llama.cpp 要 57.2 秒，速...
推荐理由：作者在 7 卡混合集群上测长上下文预填充，397B 模型塞进 75k tokens，vLLM 9.8 秒出第一个 token、跑到 7683 t/s，llama.cpp 要 57.2 秒、只有 1319 t/s。我会先打个折：这是单人单次跑分，没披露 prompt 复杂度、batch size 和精度配置，SGLang 的数据也没给全。但 6 倍的 TTFT 差距和近 6 倍的吞吐差距，对正在选推理框架的团队是个硬参考。正文没提功耗和显存占用，这点先别太激动。
一位 Reddit 用户用 24GB 内存的荣耀 Magic 7 Pro（骁龙 8 Elite）跑了几个混合专家（MoE）模型。在 Q4 量化下，LFM2-24b-a2b 跑到约 24 token/秒，Gemma 约 11 token/秒。比较意外的是，他这套配置里 CPU 推理速度比 NPU 和 GPU 都快，正文没披露具体用的什么推理框架和功耗数据...
推荐理由：这条来自 Reddit 个人测试，不是官方数据，权威性弱，但信息量够：24GB 手机、Q4 量化、LFM2-24b-a2b 跑 24 token/s、Gemma 跑 11 token/s，CPU 比 NPU/GPU 快。对想在手机上本地部署的人有参考价值，不过只有一台设备的数据，别当普遍结论。给 featured 低分段，因为话题热、数据具体，但来源单一。
一位用户自己跑了 55 组本地推理测试，覆盖 Strix Halo、RTX 3090 和 RTX 5070 三块卡、五种推理后端，模型从 0.35B 小不点到 35B-A3B 混合专家都有。结论很直接：能塞进 12GB 显存的模型，RTX 5070 比 RTX 3090 快；但到了 14B 到 31B 这个区间，模型超过 12GB 又刚好能装进 24G...
推荐理由：这篇值得看，因为作者没抄官方数据，自己跑了 55 组对比。我会先打个折：来源是 Reddit 单人帖，不是严格受控实验，但结论很实用。12GB 显存以内 RTX 5070 解码比 3090 快，14B 到 31B 模型区间 3090 反超，说明大模型推理 3090 的大显存优势还在。Strix Halo 的加入让 AMD 方案也有了参照。正文没披露功耗和价格，所以别直接当购买建议，但作为选卡参考够直接。
作者搭了一个客服用的外挂资料库（RAG）问答机器人，用模型当裁判打分，把质量分从 6.62 拉到了 7.88，同时单次会话成本从 $0.002420 砍到 $0.000509，降了将近八成。最反直觉的发现是：最贵的模型反而是表现最差的。真正起作用的动作包括给检索环节加日志、对召回的资料块做去重、收紧模型回答时对资料的依赖程度，以及用五款模型做了一轮横向...
推荐理由：我会先打个折：这是个人实验，不是大规模生产验证，样本量和场景都有限。但作者把调优过程拆得很细，从最贵的模型翻车开始，一步步讲怎么换模型、调检索参数、改 prompt，最后质量涨了成本还大降。对正在搭外挂资料库问答的工程师来说，这些实操细节比论文里的基准分有用得多。正文没披露具体用了哪些模型和评估集，这点有点可惜，但不妨碍它作为一份诚实的调参笔记入选。