跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

627 条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 481–500 条 · 共 627 条

5月7日星期四

r/LocalLLaMA

Reddit 实测:双卡跑大模型,PCIe 带宽可能没你想的那么吃紧

用户 ziphnor 用两张 RTX 5060 Ti 16GB 跑 vLLM,开启张量并行(TP=2)处理 32k 上下文预填充。实测 PCIe 峰值带宽只跑到 3–4 GB/s,大约占满一条 PCIe 4.0 x4 通道的 40%–50%。预填充速度在不同设置下分别达到约 840–850、1500 和 1600–1700 tokens/s。

推荐理由:用户 ziphnor 用两张 RTX 5060 Ti 跑 vLLM 张量并行,实测 32k 上下文预填充时 PCIe 峰值带宽仅 3–4 GB/s,占 PCIe 4.0 x4 通道的四到五成。

r/LocalLLaMA

Reddit 网友扒了 922 条 agent 任务记录,发现 DeepSeek v4 省钱的关键不在标价,在缓存命中率

一位 Reddit 用户分析了 922 条 agent 任务的实际调用记录,对比了 DeepSeek v4 Flash 和 Opus 4.7 的花费。两个模型每个任务都要吃掉大约 96 万 token,但 DeepSeek 单任务成本只要 0.01 美元,Opus 4.7 却要 1.52 美元。

推荐理由:Reddit 用户分析 922 条 agent 任务记录,对比 DeepSeek v4 Flash 与 Opus 4.7 的单任务成本,两者 token 消耗相近,差距来自缓存命中率与缓存读写价格比。

彭博科技

Anthropic 找 SpaceX 买算力,但没说是训练还是推理用

Anthropic 和马斯克的 SpaceX 签了一份算力合同,目的是撑住 Claude 越来越大的用量。报道没披露具体算力规模、合同金额、上线时间,也没说这批算力是拿来训练新模型还是跑线上推理。SpaceX 能不能挤进 Anthropic 的长期供应链,目前还看不出来。

推荐理由:Anthropic 与 SpaceX 签署算力合同以支撑 Claude 用量增长,但规模、金额、上线时间和用途均未公开,这笔合作目前披露的信息相当有限。

5月6日星期三

r/LocalLLaMA

单张 RTX 5090 跑通 Qwen3.6 27B:NVFP4 量化加 MTP 投机解码,200k 上下文实测 73.6 tok/s

一位 Reddit 用户在单张 32GB 显存的 RTX 5090 上,用 vLLM 跑通了 Qwen3.6 27B 的 NVFP4 量化版,并验证了 200k 上下文长度。配置上用了 fp8_e4m3 的 KV 缓存、FlashInfer 和 3 个投机 token 的 MTP。

推荐理由:Reddit 用户用单张 RTX 5090 在 vLLM 上跑通 Qwen3.6 27B 的 NVFP4 量化版,并验证 200k 上下文,给出了 fp8_e4m3 KV 缓存与 MTP 投机解码的具体配置。

TechCrunch · AI

AI 芯片需求把三星抬进万亿美元俱乐部

三星股价单日涨超 10%,市值突破 1 万亿美元,成为继台积电之后第二家达标的亚洲公司。直接催化剂是上周财报利润同比翻了八倍,核心逻辑是 AI 系统离不开三星的内存芯片,需求猛涨而供给跟不上,推高了芯片价格。另一个推手是前一天的消息:苹果正与三星和英特尔洽谈在美国本土生产设备芯片,如果三星拿到订单,将打破苹果几乎完全依赖台积电的局面。

推荐理由:三星市值突破万亿美元,成为继台积电之后第二家达标的亚洲公司,其内存芯片需求随 AI 系统扩张而猛涨、供给跟不上,推高了芯片价格。

NVIDIA 博客

NVIDIA 给 Spectrum-X 以太网加了多路径 RDMA,让超大规模 GPU 集群的流量不再堵在一条路上

NVIDIA 在 Spectrum-X 以太网平台上新增了 MRC(多路径 RDMA)支持,允许一个 RDMA 连接把流量分散到多条网络路径上,而不是死绑一条。这项技术已经在 Blackwell 集群里跑起来了,硬件层面能做到微秒级故障绕行和重路由。MRC 走的是 OCP 开放规范,支持多平面组网,目标是把集群规模推到几十万张 GPU。

推荐理由:英伟达在 Spectrum-X 以太网平台加入多路径 RDMA,让单条 RDMA 连接把流量分散到多条路径,并已用于 Blackwell 集群,同时推进 OCP 开放规范以支撑更大规模 GPU 组网。

r/LocalLLaMA

Qwen 3.6 27B 用上 MTP 后推理速度提升 2.5 倍,48GB 显存可跑 26 万上下文

这篇帖子来自 Reddit 的 r/LocalLLaMA,作者分享了一个 llama.cpp 的 PR,为 Qwen 3.6 27B 模型添加了 MTP(多令牌预测)支持,实测推理速度提升了 2.5 倍。在 Mac M2 Max 96GB 上达到了 28 tok/s 的生成速度。

推荐理由:llama.cpp 的 PR 为 Qwen 3.6 27B 加入 MTP 支持,实测推理提速 2.5 倍,并在 48GB 显存下支持 26 万上下文,为本地 agentic coding 提供了可参考的配置方案。

Latent Space

硅谷开始认真卖服务了:Anthropic 和 OpenAI 各自成立公司,帮企业把模型塞进业务里

Anthropic 和 OpenAI 这周都宣布了新的企业服务公司。Anthropic 跟黑石等几家华尔街机构搞了个合资公司,总共融了 15 亿美元,每家出 3 亿。他们的做法是先派个小团队去客户那,搞清楚 Claude 能在哪发挥最大作用,然后工程师再上手定制系统。

推荐理由:Anthropic 与黑石等机构合资成立企业服务公司,融资 15 亿美元,先派小团队进场定位 Claude 的适用场景,再由工程师定制系统,展示了模型公司落地企业业务的一种组织方式。

机器之心 · 公众号

明略开源两套工具,让 Mac 跑本地模型和操控桌面

明略科技放出了两个开源项目:Cider 和 Mano-P 1.0,都是给苹果 M 系列芯片用的。Cider 是个推理加速引擎,在 M5 Pro 上跑 Qwen3-VL-2B 时,把生成第一个 token 前的等待时间缩短了 57% 到 61%。Mano-P 1.0 是个能操作电脑界面的模型,72B 版本在 OSWorld 测试里拿了 58.2 分。

推荐理由:明略科技开源 Cider 与 Mano-P 1.0,前者在 M5 Pro 上把 Qwen3-VL-2B 的首 token 等待缩短约六成,后者 72B 版本在 OSWorld 拿到 58.2 分。

r/LocalLLaMA

DeepSeek V4 便宜 17 倍,我实测了 10 天写代码哪些活能丢给本地模型

Reddit 用户 spencer_kw 把自己 10 天的编程工作流拆成 150 个任务,拿本地 Qwen 3.6 27B 和云端模型重新跑了一遍。结果 65% 的任务本地模型干得一样好,20% 勉强能用,只有 15% 必须上云端。他的 API 账单从每月 85 美元掉到 22 美元左右。

推荐理由:Reddit 用户把 10 天编程工作流拆成 150 个任务,用本地 Qwen 3.6 27B 与云端模型重跑,得出 65% 任务本地可胜任、15% 必须上云的分工比例,月 API 账单从 85 美元降到 22 美元。

TechCrunch · AI

OpenAI 把 ChatGPT 默认模型换成了 GPT-5.5 Instant,说在法律、医学、金融这些领域更少胡说八道

OpenAI 发了 GPT-5.5 Instant,直接替掉了之前的 GPT-5.3 Instant,成了 ChatGPT 的默认模型。公司说新模型在法律、医学和金融这些容易出错的领域减少了幻觉(也就是瞎编答案),同时保持了上一代的低延迟。但正文没披露任何跑分、具体降低了多少幻觉率、覆盖哪些用户、以及价格有没有变。

推荐理由:OpenAI 将 ChatGPT 默认模型从 GPT-5.3 Instant 换成 GPT-5.5 Instant,并称新模型在法律、医学、金融领域减少了幻觉,同时保持低延迟。

r/LocalLLaMA

Gemma 4 出了 MTP 草稿模型,解码速度翻倍但输出质量不变

Google 在 Hugging Face 上放了 4 个 Gemma 4 的 MTP 检查点。MTP 的做法是拿一个小号草稿模型一次预测好几个 token,再由主模型并行验证,相当于让模型“先猜后验”,最终解码速度能提一倍,而且输出质量跟原来一模一样。不过 Reddit 原帖被网络策略挡了,正文没披露具体模型尺寸、硬件要求或实测延迟数据。

推荐理由:Google 在 Hugging Face 发布 4 个 Gemma 4 的 MTP 检查点,用小模型先猜、主模型并行验证,解码速度提一倍而输出质量不变。

5月5日星期二

r/LocalLLaMA

Heretic 1.3 发布:模型可复现、内置跑分、显存占用更低

Heretic 1.3 这个版本主要干了三件事。第一,它现在能把跑模型时的环境——PyTorch 版本、GPU 型号、驱动、加速库这些——都打包记录下来,别人照着做就能复现结果,不用再猜“为啥我跑出来不一样”。

推荐理由:Heretic 1.3 把 PyTorch、GPU、驱动等运行环境打包记录,他人可照此复现结果,同时内置基准测试并降低显存峰值占用。

OpenAI News

OpenAI 发布 MRC 网络协议,让超大规模 GPU 集群训练更抗断、更省电

OpenAI 把自家训练大模型用的网络方案 MRC(多路径可靠连接)通过 OCP 开源了。MRC 解决的是老问题:集群大到一定程度,网络抖动和链路故障会频繁卡死训练任务,GPU 空转烧钱。它的做法是把一次数据传输拆成几百条路径同时发(packet spraying),哪条路断了就在微秒级绕开,不用等全网重算路由。

推荐理由:OpenAI 通过 OCP 开源了训练大模型用的 MRC 网络协议,把一次传输拆成几百条路径并发,链路故障时在微秒级绕开,为自建大规模 GPU 集群的团队提供了一种应对网络抖动与断链的思路。

r/LocalLLaMA

微软 VibeVoice 语音合成与长音频转写被移植到纯 C++,推理不再需要 Python

LocalAI 把微软的 VibeVoice 模型用 ggml 重写成 C++ 版本,叫 vibevoice.cpp,支持 CPU、CUDA、Metal 和 Vulkan 推理,不用装 Python 环境。语音合成这边,给一段 30 秒的参考录音就能克隆声音,输出 24kHz 的语音。

推荐理由:LocalAI 把微软 VibeVoice 的语音合成与长音频转写重写为纯 C++ 版本,支持 CPU、CUDA、Metal 和 Vulkan 推理,本地部署不再依赖 Python 环境。

机器之心 · 公众号

马斯克 55 万张英伟达 GPU 的集群,实际有效利用率只有 11%

The Information 的报道说,xAI 手里大概 55 万张英伟达 GPU,但模型浮点运算利用率(MFU)只有 11%,折算下来相当于真正在干活的卡就 6 万张左右。文章把锅甩给了 HBM 显存读写、服务器之间通信、训练时空等和软件栈不统一这几个问题。作为对比,Meta 的利用率是 43%,Google 是 46%。

推荐理由:xAI 约 55 万张英伟达 GPU 的模型浮点运算利用率只有 11%,相当于约 6 万张卡在干活,Meta 和 Google 分别为 43% 和 46%。

r/LocalLLaMA

MTPLX 让苹果芯片跑大模型快了一倍多,原生 MTP 推理引擎来了

一个叫 MTPLX 的推理引擎在 MacBook Pro M5 Max 上把 Qwen3.6-27B 的生成速度从每秒 28 个 token 提到了 63 个 token,快了 2.24 倍。测试用的是 4-bit MLX 量化,温度 0.6,top_p 0.95,top_k 20,最佳推测深度 D3。

推荐理由:MTPLX 在 MacBook Pro M5 Max 上把 Qwen3.6-27B 的生成速度从每秒 28 个 token 提到 63 个,2.24 倍提升来自内置 MTP heads,无需额外加载 drafter 模型。

TechCrunch · AI

Cerebras 准备上市,估值可能冲到 266 亿美元,背后是跟 OpenAI 的深度绑定

AI 芯片公司 Cerebras 正在推进 IPO,目标估值至少 266 亿美元。它的核心卖点不是通用芯片,而是跟 OpenAI 绑得很紧的供应链关系。文章没披露 OpenAI 有没有持股、具体贡献了多少收入,也没说上市时间表。所以这轮估值更多是在赌 OpenAI 的算力需求会持续砸在 Cerebras 身上,而不是单纯看芯片本身的技术指标。

推荐理由:Cerebras 推进 IPO,目标估值至少 266 亿美元,其估值逻辑主要来自与 OpenAI 的供应链绑定,而非芯片本身的技术指标。

r/LocalLLaMA

FastDMS 把 KV 缓存压到 1/5~1/8,跑得比 vLLM BF16/FP8 还快

FastDMS 放出了一个 MIT 许可的实现,核心是把模型推理时占显存的 KV 缓存压到原来的 1/5 到 1/8。在 8K 上下文长度下,Llama-3.2-1B 用 6.4 倍压缩后困惑度是 9.200;Qwen3-8B 在压缩系数 c=1 时,KV 缓存从 1.406 GiB 直接降到 0.184 GiB。

推荐理由:FastDMS 开源了 MIT 许可的 KV 缓存压缩实现,在 8K 上下文下把 Llama-3.2-1B 的缓存压到 1/5 至 1/8,并给出困惑度与显存占用的具体数字。

5月4日星期一

r/LocalLLaMA

M3 Ultra 加 DGX Spark,能拼出一台 M5 Ultra-lite 吗?

Reddit 有人拿 DGX Spark 和 M3 Ultra 在 llama.cpp 里跑分,统一用 pp16384 上下文。Spark 比 M3 Ultra 快 1.4 到 3.4 倍,看模型:Qwen 27B 跑到 778 token/秒,M3 Ultra 是 340;Mistral 128B 跑到 241,M3 Ultra 只有 72。

推荐理由:Reddit 用户用 llama.cpp 在 pp16384 上下文下对比 DGX Spark 与 M3 Ultra 的推理速度,Spark 在 Qwen 27B 和 Mistral 128B 上快 1.4 到 3.4 倍。