跳到正文

#部署/工程

今日 11 条

5月8日星期五

量子位 · 公众号

哈工大华为搞了个免训练加速框架,让扩散大模型推理快4.48倍还不掉精度

哈工大深圳、华为和深圳河套学院提出一个叫 Dynamic-dLLM 的框架,不用重新训练就能给扩散大语言模型加速。在 LLaDA-8B-Instruct 上跑 GSM8k 数学题,吞吐量从每秒 8.32 个 token 提到 37.29 个 token,快了 4.48 倍,而且精度几乎没降。

推荐理由:哈工大深圳与华为提出免训练加速框架 Dynamic-dLLM,在 LLaDA-8B-Instruct 上把 GSM8k 吞吐量从每秒 8.32 个 token 提到 37.29 个,精度几乎不变。

FT · 科技

科技巨头砸了7250亿美元搞AI基建,自由现金流跌到十年最低

FT这篇付费文章正文被锁了,只从标题和摘要片段能看出几个关键信息:硅谷大厂们过去在AI基础设施上累计花掉了7250亿美元,这个数字直接把它们的自由现金流压到了近十年的最低点。以前这些公司是轻资产、现金牛的玩法,现在被迫转型成重资产的基建投资者。

推荐理由:硅谷大厂在AI基础设施上累计投入7250亿美元,自由现金流被压到近十年最低,从轻资产现金牛转向重资产基建投资。

r/LocalLLaMA

单张 4090 跑出 11.67%:TOPAS 递归架构在 ARC-AGI-2 上的本地测试结果

Doug_Bitterbot 用一张 RTX 4090 训练了大约 14 天,让 TOPAS 模型在 ARC-AGI-2 抽象推理测试上拿到了 11.67% 的分数。这个模型只有 1 亿参数,本地跑分最高到过 36%,但它的递归测试时训练(TTT)机制在 Kaggle 的题目上出了问题,将近一半的谜题直接输出空结果。

推荐理由:一张 RTX 4090 训练约 14 天,让 1 亿参数的 TOPAS 在 ARC-AGI-2 上拿到 11.67%,本地跑分则到过 36%,递归测试时训练在 Kaggle 上导致近一半题目输出空结果。

彭博科技

英伟达计划向数据中心公司 IREN 投资最多 21 亿美元,联手建 AI 基础设施

英伟达和 IREN 签了份 AI 基础设施合作协议,英伟达会投进最多 21 亿美元。这笔钱用来一起建 AI 数据中心,但公告没写具体占多少股份、分几期付款,也没提建成后能增加多少算力。

推荐理由:英伟达与数据中心公司IREN签署AI基础设施合作协议,最高投资21亿美元用于共建AI数据中心,公告未披露股权比例、付款分期与建成算力。

The Verge · AI

SpaceX 要在德州砸 550 亿美元建 AI 芯片厂

SpaceX 在奥斯汀的“Terafab”芯片工厂计划投资至少 550 亿美元,一份听证会文件显示后期总投资可能拉到 1190 亿美元。马斯克 3 月说过目标是年产能支撑 200GW 算力的芯片,但正文没披露具体用哪种制程工艺。

推荐理由:SpaceX 计划在奥斯汀建芯片厂,听证会文件显示投资从至少 550 亿美元可能增至 1190 亿美元,马斯克给出的目标是年产能支撑 200GW 算力。

AI HOT 精选

冻结模型里藏着可读的行为信号,Cygnus 靠适配器把 Qwen-32B 的 ARC 得分从 82% 拉到近 95%

Proprioceptive AI 搞了个叫 Cygnus 的技术,给已经冻结的大模型外挂一个自感知适配器,不重新训练就能读出模型内部残留的行为信号。做法是把隐藏状态投影到一个用 gl(4,R) 李代数定义的数学空间里,从中分离出他们称为“暗模式”的精度信号。

推荐理由:Proprioceptive AI 为冻结模型外挂自感知适配器,不重训即可从隐藏状态读出行为信号,Qwen-32B 的 ARC 得分由 82% 升至近 95%。

NVIDIA 博客

美国能源部长与英伟达谈 Genesis 任务:用 AI 给电网审批提速,从几年缩到几周

美国能源部和英伟达要在阿贡国家实验室建两台 AI 超算。小的一台叫 Equinox,用 10,000 块 Grace Blackwell GPU;大的一台叫 Solstice,计划上 100,000 块还没发布的 Vera Rubin GPU。

推荐理由:美国能源部与英伟达在阿贡国家实验室部署两台 AI 超算,规模从一万块 Grace Blackwell 到十万块 Vera Rubin GPU,指向电网审批从数年到数周的提速目标。

AI HOT 精选

antirez 开源了 DeepSeek 4 Flash 的本地推理引擎,专跑在苹果芯片的 Metal 上

Redis 作者 antirez 在 GitHub 上放出了一个叫 ds4 的项目,是一个让 DeepSeek 4 Flash 模型在 Mac 上本地跑的推理引擎。它直接调用苹果的 Metal Performance Shaders 来降低延迟和内存占用,相当于给模型配了个更底层的加速驱动,而不是简单套个壳。

推荐理由:Redis 作者 antirez 发布 ds4 项目,让 DeepSeek 4 Flash 模型在 Mac 上本地运行,并直接调用苹果 Metal Performance Shaders 降低延迟与内存占用。

5月7日星期四

AI HOT 精选

中国 AI 实验室内部笔记:学生军团、快跟文化和被压缩的算力

作者走访了国内几家头部 AI 实验室,发现一个明显特点:核心贡献者里学生占比很高,他们没包袱、上手快,愿意做那些不炫但能让模型变好的脏活累活。这种文化让中国团队在追赶大模型、做智能体工作流时效率很高,但也被一些技术负责人认为会抑制从 0 到 1 的原创研究。

推荐理由:作者走访国内几家头部 AI 实验室,记录学生构成核心贡献者、快跟文化提升追赶效率,也带来原创研究受抑制的争议。

AI HOT 精选

商汤 SenseNova-U1 开源 8 步蒸馏 LoRA,扩散模型推理从 23 秒压到 2 秒

商汤把扩散模型常用的 100 步生成流程蒸馏到只剩 8 步,GPU 上跑一张图从 23 秒降到 2 秒,快了 11 倍。做法是训了一个 LoRA 权重,直接挂到模型上就能用,不用改原模型结构。配套给了 ComfyUI 工作流,覆盖文生图、改图和交错生成。正文没提具体画质对比和什么显卡跑的,这点先别太激动。

推荐理由:商汤开源 8 步蒸馏 LoRA,把扩散模型 100 步生成流程压缩到 8 步,单张图 GPU 推理从 23 秒降到 2 秒,并配套 ComfyUI 工作流,覆盖文生图、改图和交错生成。

量子位 · 公众号

浙大与阿里提出 MetaCompress:只看图片就能学会压缩 Token,多轮视觉问答压缩率 90% 且精度不掉

这篇 CVPR 2026 论文介绍了一个叫 MetaCompress 的框架,专门解决多轮视觉问答里图片 Token 太多、推理太贵的问题。它的做法是让模型只看输入图片,自己生成一张“压缩映射图”,直接决定哪些视觉 Token 该留、哪些该扔,不需要额外训练一个压缩网络。文章给出的核心数据是:能砍掉 90% 的视觉 Token,同时保持回答精度不降。

推荐理由:浙大与阿里提出 MetaCompress,让模型仅凭输入图片生成压缩映射图来决定视觉 Token 取舍,在多轮视觉问答中砍掉 90% 的 Token 而精度不降。

r/LocalLLaMA

在单张 RTX 3090 Ti 上跑 Qwen3.5/3.6 的 NextN MTP 投机解码指南

Reddit 用户分享了一个 llama.cpp 实操指南,用单张 RTX 3090 Ti 跑 Qwen3.5 和 3.6 的 NextN MTP(多 token 预测,一种让模型一次猜好几个词来加速生成的技术)。目前需要打两个还没合并的 PR:#22400 和 #22673。

推荐理由:Reddit 用户给出在单张 RTX 3090 Ti 上运行 Qwen3.5 和 3.6 的 llama.cpp 实操指南,依赖两个尚未合并的 PR,涉及 NextN MTP 投机解码的配置方法。

Latent Space

Anthropic 租下 xAI 孟菲斯超算,年费或达 50 亿美元,Claude 推理能力几天内就要搬上去

Anthropic 在第二届开发者活动上宣布,将租用 xAI 在孟菲斯的 Colossus I 超算集群来跑 Claude 的推理任务,预计几天内就开始迁移。外界根据 300 兆瓦的功耗规模估算,这笔交易一年可能花掉 Anthropic 约 50 亿美元,相当于 xAI 变相成了一家提供算力租赁的云厂商。

推荐理由:Anthropic 宣布租用 xAI 孟菲斯 Colossus I 超算集群运行 Claude 推理,几天内启动迁移;按 300 兆瓦功耗规模估算,年费或达 50 亿美元,xAI 由此切入算力租赁。

机器之心 · 公众号

马斯克宣布 xAI 解散,Grok 并入 SpaceXAI,22 万张 GPU 算力租给 Anthropic

马斯克确认 xAI 解散,Grok 和 X 平台相关业务全部并入新实体 SpaceXAI。同时,SpaceX 和 Anthropic 签了协议,Claude 将接入 Colossus 1 超算——超过 22 万张 Nvidia GPU、300 兆瓦的算力集群。

推荐理由:马斯克确认 xAI 解散,Grok 与 X 平台业务并入 SpaceXAI,同时 SpaceX 将 Colossus 1 超算的 22 万张 GPU 算力租给 Anthropic,涉及两家 AI 公司竞争格局的变动。

Computing Life · Share · 鸭哥调研

Anthropic 半年签下四笔算力大单,xAI 把自家超算中心整租给了对手

Anthropic 在六个月内接连锁定了 AWS Trainium、Google TPU、SpaceXAI Colossus 1 和 CoreWeave 的算力,覆盖了市面上三种主流芯片架构。同一时间,xAI 把拥有 22 万张 GPU 的 Colossus 1 数据中心全部租给了 Anthropic,而自家 GPU 利用率只有 11%。

推荐理由:Anthropic 半年内锁定 AWS、Google、SpaceXAI 与 CoreWeave 四家算力,覆盖三种主流芯片架构,同期 xAI 将 22 万张 GPU 的 Colossus 1 整租给这家对手。

FT · 科技

Arm 预计自家 AI 芯片明年能卖 20 亿美元,但没公布客户和制程

Arm 第一次自己做 AI 芯片,就给出了明年 20 亿美元的销售预期。这个数字不小,但文章正文被付费墙挡住了,看不到具体是卖给谁、用什么工艺生产、什么时候交货。软银在背后撑腰,需求据说很强劲,不过在没有客户名单和定价的情况下,这个预测先打个折看。

推荐理由:Arm 从芯片设计授权转向自研 AI 芯片,并给出明年 20 亿美元的销售预期,这家长期做 IP 授权的公司由此切入芯片销售。

FT · 科技

SpaceX 要把数据中心算力租给 Anthropic

FT 报道 SpaceX 会向 Anthropic 出租数据中心容量,等于确认了双方有一笔算力租赁合作。Anthropic 加码算力是为了跟上用户增长,但正文被付费墙挡住,没披露具体租了多少、租多久、什么价格。

推荐理由:SpaceX 将向 Anthropic 出租数据中心容量,算力租赁成为两家公司之间的新合作方向,Anthropic 加码算力以跟上用户增长。

r/LocalLLaMA

Atlas 推理引擎开源,在 DGX Spark 上跑 Qwen3.6-35B-FP8 能稳定跑到每秒 100 多个 token

Avarok 把 Atlas 推理引擎开源了。它用 Rust 和 CUDA 写成,镜像只有约 2.5GB,冷启动不到两分钟。在一台 DGX Spark 上跑 Qwen3.5-35B,实测持续速度约 111 tok/s,作者说比 vLLM 快 3.0 到 3.3 倍。

推荐理由:Avarok 开源了用 Rust 和 CUDA 写的 Atlas 推理引擎,在 DGX Spark 上跑 Qwen3.5-35B 实测约 111 tok/s,作者称是 vLLM 的 3.0 到 3.3 倍。

r/LocalLLaMA

Reddit 实测:双卡跑大模型,PCIe 带宽可能没你想的那么吃紧

用户 ziphnor 用两张 RTX 5060 Ti 16GB 跑 vLLM,开启张量并行(TP=2)处理 32k 上下文预填充。实测 PCIe 峰值带宽只跑到 3–4 GB/s,大约占满一条 PCIe 4.0 x4 通道的 40%–50%。预填充速度在不同设置下分别达到约 840–850、1500 和 1600–1700 tokens/s。

推荐理由:用户 ziphnor 用两张 RTX 5060 Ti 跑 vLLM 张量并行,实测 32k 上下文预填充时 PCIe 峰值带宽仅 3–4 GB/s,占 PCIe 4.0 x4 通道的四到五成。

r/LocalLLaMA

Reddit 网友扒了 922 条 agent 任务记录,发现 DeepSeek v4 省钱的关键不在标价,在缓存命中率

一位 Reddit 用户分析了 922 条 agent 任务的实际调用记录,对比了 DeepSeek v4 Flash 和 Opus 4.7 的花费。两个模型每个任务都要吃掉大约 96 万 token,但 DeepSeek 单任务成本只要 0.01 美元,Opus 4.7 却要 1.52 美元。

推荐理由:Reddit 用户分析 922 条 agent 任务记录,对比 DeepSeek v4 Flash 与 Opus 4.7 的单任务成本,两者 token 消耗相近,差距来自缓存命中率与缓存读写价格比。

彭博科技

Anthropic 找 SpaceX 买算力,但没说是训练还是推理用

Anthropic 和马斯克的 SpaceX 签了一份算力合同,目的是撑住 Claude 越来越大的用量。报道没披露具体算力规模、合同金额、上线时间,也没说这批算力是拿来训练新模型还是跑线上推理。SpaceX 能不能挤进 Anthropic 的长期供应链,目前还看不出来。

推荐理由:Anthropic 与 SpaceX 签署算力合同以支撑 Claude 用量增长,但规模、金额、上线时间和用途均未公开,这笔合作目前披露的信息相当有限。

5月6日星期三

r/LocalLLaMA

单张 RTX 5090 跑通 Qwen3.6 27B:NVFP4 量化加 MTP 投机解码,200k 上下文实测 73.6 tok/s

一位 Reddit 用户在单张 32GB 显存的 RTX 5090 上,用 vLLM 跑通了 Qwen3.6 27B 的 NVFP4 量化版,并验证了 200k 上下文长度。配置上用了 fp8_e4m3 的 KV 缓存、FlashInfer 和 3 个投机 token 的 MTP。

推荐理由:Reddit 用户用单张 RTX 5090 在 vLLM 上跑通 Qwen3.6 27B 的 NVFP4 量化版,并验证 200k 上下文,给出了 fp8_e4m3 KV 缓存与 MTP 投机解码的具体配置。

TechCrunch · AI

AI 芯片需求把三星抬进万亿美元俱乐部

三星股价单日涨超 10%,市值突破 1 万亿美元,成为继台积电之后第二家达标的亚洲公司。直接催化剂是上周财报利润同比翻了八倍,核心逻辑是 AI 系统离不开三星的内存芯片,需求猛涨而供给跟不上,推高了芯片价格。另一个推手是前一天的消息:苹果正与三星和英特尔洽谈在美国本土生产设备芯片,如果三星拿到订单,将打破苹果几乎完全依赖台积电的局面。

推荐理由:三星市值突破万亿美元,成为继台积电之后第二家达标的亚洲公司,其内存芯片需求随 AI 系统扩张而猛涨、供给跟不上,推高了芯片价格。

NVIDIA 博客

NVIDIA 给 Spectrum-X 以太网加了多路径 RDMA,让超大规模 GPU 集群的流量不再堵在一条路上

NVIDIA 在 Spectrum-X 以太网平台上新增了 MRC(多路径 RDMA)支持,允许一个 RDMA 连接把流量分散到多条网络路径上,而不是死绑一条。这项技术已经在 Blackwell 集群里跑起来了,硬件层面能做到微秒级故障绕行和重路由。MRC 走的是 OCP 开放规范,支持多平面组网,目标是把集群规模推到几十万张 GPU。

推荐理由:英伟达在 Spectrum-X 以太网平台加入多路径 RDMA,让单条 RDMA 连接把流量分散到多条路径,并已用于 Blackwell 集群,同时推进 OCP 开放规范以支撑更大规模 GPU 组网。

r/LocalLLaMA

Qwen 3.6 27B 用上 MTP 后推理速度提升 2.5 倍,48GB 显存可跑 26 万上下文

这篇帖子来自 Reddit 的 r/LocalLLaMA,作者分享了一个 llama.cpp 的 PR,为 Qwen 3.6 27B 模型添加了 MTP(多令牌预测)支持,实测推理速度提升了 2.5 倍。在 Mac M2 Max 96GB 上达到了 28 tok/s 的生成速度。

推荐理由:llama.cpp 的 PR 为 Qwen 3.6 27B 加入 MTP 支持,实测推理提速 2.5 倍,并在 48GB 显存下支持 26 万上下文,为本地 agentic coding 提供了可参考的配置方案。

Latent Space

硅谷开始认真卖服务了:Anthropic 和 OpenAI 各自成立公司,帮企业把模型塞进业务里

Anthropic 和 OpenAI 这周都宣布了新的企业服务公司。Anthropic 跟黑石等几家华尔街机构搞了个合资公司,总共融了 15 亿美元,每家出 3 亿。他们的做法是先派个小团队去客户那,搞清楚 Claude 能在哪发挥最大作用,然后工程师再上手定制系统。

推荐理由:Anthropic 与黑石等机构合资成立企业服务公司,融资 15 亿美元,先派小团队进场定位 Claude 的适用场景,再由工程师定制系统,展示了模型公司落地企业业务的一种组织方式。

机器之心 · 公众号

明略开源两套工具,让 Mac 跑本地模型和操控桌面

明略科技放出了两个开源项目:Cider 和 Mano-P 1.0,都是给苹果 M 系列芯片用的。Cider 是个推理加速引擎,在 M5 Pro 上跑 Qwen3-VL-2B 时,把生成第一个 token 前的等待时间缩短了 57% 到 61%。Mano-P 1.0 是个能操作电脑界面的模型,72B 版本在 OSWorld 测试里拿了 58.2 分。

推荐理由:明略科技开源 Cider 与 Mano-P 1.0,前者在 M5 Pro 上把 Qwen3-VL-2B 的首 token 等待缩短约六成,后者 72B 版本在 OSWorld 拿到 58.2 分。

r/LocalLLaMA

DeepSeek V4 便宜 17 倍,我实测了 10 天写代码哪些活能丢给本地模型

Reddit 用户 spencer_kw 把自己 10 天的编程工作流拆成 150 个任务,拿本地 Qwen 3.6 27B 和云端模型重新跑了一遍。结果 65% 的任务本地模型干得一样好,20% 勉强能用,只有 15% 必须上云端。他的 API 账单从每月 85 美元掉到 22 美元左右。

推荐理由:Reddit 用户把 10 天编程工作流拆成 150 个任务,用本地 Qwen 3.6 27B 与云端模型重跑,得出 65% 任务本地可胜任、15% 必须上云的分工比例,月 API 账单从 85 美元降到 22 美元。

TechCrunch · AI

OpenAI 把 ChatGPT 默认模型换成了 GPT-5.5 Instant,说在法律、医学、金融这些领域更少胡说八道

OpenAI 发了 GPT-5.5 Instant,直接替掉了之前的 GPT-5.3 Instant,成了 ChatGPT 的默认模型。公司说新模型在法律、医学和金融这些容易出错的领域减少了幻觉(也就是瞎编答案),同时保持了上一代的低延迟。但正文没披露任何跑分、具体降低了多少幻觉率、覆盖哪些用户、以及价格有没有变。

推荐理由:OpenAI 将 ChatGPT 默认模型从 GPT-5.3 Instant 换成 GPT-5.5 Instant,并称新模型在法律、医学、金融领域减少了幻觉,同时保持低延迟。

r/LocalLLaMA

Gemma 4 出了 MTP 草稿模型,解码速度翻倍但输出质量不变

Google 在 Hugging Face 上放了 4 个 Gemma 4 的 MTP 检查点。MTP 的做法是拿一个小号草稿模型一次预测好几个 token,再由主模型并行验证,相当于让模型“先猜后验”,最终解码速度能提一倍,而且输出质量跟原来一模一样。不过 Reddit 原帖被网络策略挡了,正文没披露具体模型尺寸、硬件要求或实测延迟数据。

推荐理由:Google 在 Hugging Face 发布 4 个 Gemma 4 的 MTP 检查点,用小模型先猜、主模型并行验证,解码速度提一倍而输出质量不变。

5月5日星期二

r/LocalLLaMA

Heretic 1.3 发布:模型可复现、内置跑分、显存占用更低

Heretic 1.3 这个版本主要干了三件事。第一,它现在能把跑模型时的环境——PyTorch 版本、GPU 型号、驱动、加速库这些——都打包记录下来,别人照着做就能复现结果,不用再猜“为啥我跑出来不一样”。

推荐理由:Heretic 1.3 把 PyTorch、GPU、驱动等运行环境打包记录,他人可照此复现结果,同时内置基准测试并降低显存峰值占用。

OpenAI News

OpenAI 发布 MRC 网络协议,让超大规模 GPU 集群训练更抗断、更省电

OpenAI 把自家训练大模型用的网络方案 MRC(多路径可靠连接)通过 OCP 开源了。MRC 解决的是老问题:集群大到一定程度,网络抖动和链路故障会频繁卡死训练任务,GPU 空转烧钱。它的做法是把一次数据传输拆成几百条路径同时发(packet spraying),哪条路断了就在微秒级绕开,不用等全网重算路由。

推荐理由:OpenAI 通过 OCP 开源了训练大模型用的 MRC 网络协议,把一次传输拆成几百条路径并发,链路故障时在微秒级绕开,为自建大规模 GPU 集群的团队提供了一种应对网络抖动与断链的思路。

r/LocalLLaMA

微软 VibeVoice 语音合成与长音频转写被移植到纯 C++,推理不再需要 Python

LocalAI 把微软的 VibeVoice 模型用 ggml 重写成 C++ 版本,叫 vibevoice.cpp,支持 CPU、CUDA、Metal 和 Vulkan 推理,不用装 Python 环境。语音合成这边,给一段 30 秒的参考录音就能克隆声音,输出 24kHz 的语音。

推荐理由:LocalAI 把微软 VibeVoice 的语音合成与长音频转写重写为纯 C++ 版本,支持 CPU、CUDA、Metal 和 Vulkan 推理,本地部署不再依赖 Python 环境。

机器之心 · 公众号

马斯克 55 万张英伟达 GPU 的集群,实际有效利用率只有 11%

The Information 的报道说,xAI 手里大概 55 万张英伟达 GPU,但模型浮点运算利用率(MFU)只有 11%,折算下来相当于真正在干活的卡就 6 万张左右。文章把锅甩给了 HBM 显存读写、服务器之间通信、训练时空等和软件栈不统一这几个问题。作为对比,Meta 的利用率是 43%,Google 是 46%。

推荐理由:xAI 约 55 万张英伟达 GPU 的模型浮点运算利用率只有 11%,相当于约 6 万张卡在干活,Meta 和 Google 分别为 43% 和 46%。

r/LocalLLaMA

MTPLX 让苹果芯片跑大模型快了一倍多,原生 MTP 推理引擎来了

一个叫 MTPLX 的推理引擎在 MacBook Pro M5 Max 上把 Qwen3.6-27B 的生成速度从每秒 28 个 token 提到了 63 个 token,快了 2.24 倍。测试用的是 4-bit MLX 量化,温度 0.6,top_p 0.95,top_k 20,最佳推测深度 D3。

推荐理由:MTPLX 在 MacBook Pro M5 Max 上把 Qwen3.6-27B 的生成速度从每秒 28 个 token 提到 63 个,2.24 倍提升来自内置 MTP heads,无需额外加载 drafter 模型。

TechCrunch · AI

Cerebras 准备上市,估值可能冲到 266 亿美元,背后是跟 OpenAI 的深度绑定

AI 芯片公司 Cerebras 正在推进 IPO,目标估值至少 266 亿美元。它的核心卖点不是通用芯片,而是跟 OpenAI 绑得很紧的供应链关系。文章没披露 OpenAI 有没有持股、具体贡献了多少收入,也没说上市时间表。所以这轮估值更多是在赌 OpenAI 的算力需求会持续砸在 Cerebras 身上,而不是单纯看芯片本身的技术指标。

推荐理由:Cerebras 推进 IPO,目标估值至少 266 亿美元,其估值逻辑主要来自与 OpenAI 的供应链绑定,而非芯片本身的技术指标。

r/LocalLLaMA

FastDMS 把 KV 缓存压到 1/5~1/8,跑得比 vLLM BF16/FP8 还快

FastDMS 放出了一个 MIT 许可的实现,核心是把模型推理时占显存的 KV 缓存压到原来的 1/5 到 1/8。在 8K 上下文长度下,Llama-3.2-1B 用 6.4 倍压缩后困惑度是 9.200;Qwen3-8B 在压缩系数 c=1 时,KV 缓存从 1.406 GiB 直接降到 0.184 GiB。

推荐理由:FastDMS 开源了 MIT 许可的 KV 缓存压缩实现,在 8K 上下文下把 Llama-3.2-1B 的缓存压到 1/5 至 1/8,并给出困惑度与显存占用的具体数字。

5月4日星期一

r/LocalLLaMA

M3 Ultra 加 DGX Spark,能拼出一台 M5 Ultra-lite 吗?

Reddit 有人拿 DGX Spark 和 M3 Ultra 在 llama.cpp 里跑分,统一用 pp16384 上下文。Spark 比 M3 Ultra 快 1.4 到 3.4 倍,看模型:Qwen 27B 跑到 778 token/秒,M3 Ultra 是 340;Mistral 128B 跑到 241,M3 Ultra 只有 72。

推荐理由:Reddit 用户用 llama.cpp 在 pp16384 上下文下对比 DGX Spark 与 M3 Ultra 的推理速度,Spark 在 Qwen 27B 和 Mistral 128B 上快 1.4 到 3.4 倍。

r/LocalLLaMA

Mistral Medium 3.5 128B 和 Qwen 3.5 122B A10B 在 4 张 RTX 3080 20GB 上的跑分对比

一位 Reddit 用户用 4 张 RTX 3080 20GB 显卡跑了两个大模型。Mistral Medium 3.5 128B 在 llama.cpp 里把张量拆分(tensor split)打开后,生成速度从每秒 10.37 个 token 翻倍到 21.59。

推荐理由:Reddit 用户用 4 张 RTX 3080 20GB 实测两个大模型,Mistral Medium 3.5 128B 开启张量拆分后生成速度从每秒 10.37 个 token 升至 21.59。

r/LocalLLaMA

一个 4.5 亿参数的视觉模型在卫星上跑野火检测,瓶颈不是模型质量,是带宽

作者 PauLabartaBajo 搭了一套端到端的野火预防管线,把 4.5 亿参数的视觉语言模型 LFM2.5-VL 直接部署在卫星上做推理。核心约束是卫星下行带宽太窄,传不了大尺寸多光谱图像,所以方案反过来:在轨跑模型,只下传一份 JSON 格式的风险评估结果。

推荐理由:作者把 4.5 亿参数的视觉语言模型直接部署在卫星上做野火推理,只下传 JSON 风险评估结果,绕开了下行带宽对多光谱图像的传输限制。