跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

609 条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 361–380 条 · 共 609 条

5月19日星期二

量子位 · 公众号

Odyssey 放出 Agora-1 世界模型,能四个人同时在线打 FPS,比李飞飞团队还快一步

Odyssey 发布了一个叫 Agora-1 的世界模型,主打实时生成可玩的 FPS 场景,最多支持四个真人或 AI 玩家在同一张图里对战。它把物理模拟和画面渲染拆开跑,训练数据用的是《黄金眼》游戏内部状态,不是单纯看视频学样子。正文没披露具体延迟和硬件成本,所以实际跑起来卡不卡、贵不贵还不清楚。

推荐理由:Odyssey 发布 Agora-1 世界模型,支持四名真人或 AI 玩家在同一张 FPS 地图对战,训练数据取自《黄金眼》游戏内部状态,物理模拟与画面渲染分开运行。

机器之心 · 公众号

Sebastian Raschka 梳理了 Gemma 4 到 DeepSeek V4 的架构变化,重点在省显存和长上下文

这篇文章是机器之心翻译的 Sebastian Raschka 博客,盘点了几款新模型的架构改动,核心都在想办法降低长上下文的显存开销。Gemma 4 的 E2B 方案在 128K 上下文、bfloat16 精度下,KV 缓存能省大约 2.7GB,这个数字挺实在的。

推荐理由:Sebastian Raschka 梳理了 Gemma 4 到 DeepSeek V4 几款新模型的架构改动,主线是降低长上下文显存开销,其中 Gemma 4 的 E2B 方案在 128K 上下文下 KV 缓存可省约 2.7GB。

FT · 科技

Google 联手黑石系云厂商推芯片,正文被付费墙挡住,具体芯片型号和部署方式没披露

FT 这篇报道的正文被安全验证页挡住了,只从现有摘要能看出:一家黑石投资的 AI 云厂商拿到了 50 亿美元投资,计划明年上线 500 兆瓦的数据中心容量。标题里提到 Google 在推芯片,但正文没披露用的是 TPU 还是自研 Arm 芯片、以什么形式合作——是租算力、联合部署还是单纯采购。这点先别太激动,等看到全文再判断。

推荐理由:黑石投资的 AI 云厂商获 50 亿美元投资,计划明年上线 500 兆瓦数据中心容量,Google 芯片合作的具体形式尚未公开。

AI HOT 精选

谷歌和黑石联手搞了家 AI 云公司,先掏 50 亿美元,2027 年要跑起 500 兆瓦算力

谷歌要把自家的 TPU 芯片拿出来对外卖算力了,这次拉上了管钱的黑石。新公司名字还没公布,黑石先投 50 亿美元股权,算上杠杆总盘子预计 250 亿美元。目标是 2027 年让 500 兆瓦的数据中心跑起来,这个电量够一座中等城市用。他们手里已经锁了一批在建的数据中心,后续容量还会扩。

推荐理由:谷歌与黑石组建 AI 云公司,黑石先投 50 亿美元股权,总盘子预计 250 亿美元,计划 2027 年让 500 兆瓦数据中心跑起来。

彭博科技

Google 和 Blackstone 要合资做 AI 云,用自家芯片跟 CoreWeave 抢生意

Google 和 Blackstone 打算成立一家新的 AI 云计算公司,专门用 Google 自己设计的芯片(也就是 TPU)来提供算力,目标是对标 CoreWeave 这类 GPU 云服务商。目前消息来自华尔街日报,Bloomberg 做了跟进。正文没披露这家新公司的股权结构、双方各投多少钱、具体什么时候上线,也没说会用哪一代 TPU。

推荐理由:Google 与 Blackstone 计划合资成立 AI 云公司,以自研 TPU 提供算力,对标 CoreWeave 这类 GPU 云服务商,可观察大厂自研芯片切入云算力市场的一种路径。

彭博科技

Meta 在路易斯安那州砸 2000 亿美元建数据中心,靠 10 座天然气电厂供电

Meta 在路易斯安那州 Richland Parish 搞了一个 AI 数据中心,钱不是自己全掏,而是通过一笔 2000 亿美元的私募融资来支撑。这个园区的总电力需求最高能到 7.5 吉瓦,其中 5 吉瓦专门给计算设备用。为了喂饱这些机器,他们计划新建 10 座天然气发电厂来供电。这个规模非常夸张,相当于把未来几年的算力扩张押注在化石能源上。

推荐理由:Meta 在路易斯安那州为 AI 数据中心安排 2000 亿美元私募融资,并计划新建 10 座天然气电厂满足最高 7.5 吉瓦用电,算力扩张与化石能源绑定的规模由此具体可见。

彭博科技

黄仁勋押注中国会重新对美国 AI 芯片开门,但没给时间表

英伟达 CEO 黄仁勋在跟特朗普一起参加完中国峰会后放话,说中国最终会允许进口美国 AI 芯片。这话听着更像是一种表态而非承诺——正文没披露任何具体时间点,也没说依据是什么。考虑到现在出口管制卡得很严,他这番话可能更多是在向市场喊话,别急着把英伟达的中国生意从账本上划掉。

推荐理由:英伟达 CEO 黄仁勋在随特朗普参加中国峰会后公开判断中国最终会放开美国 AI 芯片进口,但未给出时间点与依据,出口管制仍严的背景下这番表态牵动英伟达中国业务预期。

r/LocalLLaMA

llama.cpp 合并 MTP 投机解码,Qwen3.6 27B 在 Strix Halo 上跑到 2.44 倍速

llama.cpp 在 PR #22673 里正式合并了 MTP(多 token 预测)投机解码支持。实测 Qwen3.6 27B 用 Q8_0 量化,在 Strix Halo 上从 7.4 tok/s 提到 18.1 tok/s,速度翻了 2.44 倍。

推荐理由:llama.cpp 合并 MTP 投机解码后,Qwen3.6 27B 在 Strix Halo 上实测从 7.4 tok/s 提升到 18.1 tok/s,本地推理的加速幅度有了具体参照。

5月18日星期一

Import AI

AI界的震网病毒、有缺陷的Muon优化器,以及“正向对齐”

SentinelOne拆解了一个叫fast16.sys的老病毒,它专门篡改高精度计算软件在内存里的结果,可能被用来破坏核武器开发等工程模拟,在震网病毒出现前五年就已存在。Tilde Research发现流行的Muon优化器有个致命缺陷:训练初期会导致MLP层里超过四分之一的神经元永久“死亡”,再也救不回来。

推荐理由:SentinelOne拆解的fast16.sys在震网病毒出现前五年就篡改内存中的高精度计算结果,Tilde Research则发现Muon优化器会让MLP层超四分之一神经元在训练初期永久死亡。

r/LocalLLaMA

Qwen 3.6 27B 在 24G 显存上的部署实测:后端、量化方案与参数对比

作者用一张 RTX 3090 24GB 跑 Qwen 3.6 27B,最终留用了 ik_llama.cpp 搭配 Qwen3.6-27B-MTP-IQ4_KS.gguf 这个量化版本。

推荐理由:作者在单张 RTX 3090 24GB 上实测 Qwen 3.6 27B 的多种后端与量化方案,最终选用 ik_llama.cpp 搭配 IQ4_KS 量化,为本地部署的选型提供了一份单卡实测对比。

机器之心 · 公众号

华为 GTS 在 ICML 2026 发了一篇用推理熵值动态挑训练样本的方法,Amazon 和 Google 的作者也跟进了类似思路

这篇论文提出了一种叫 EDCO 的动态课程微调方法,核心是用模型推理时的“熵值”来判断样本难度,自动挑出当前模型最该学的数据,而不是靠人手动分阶段。他们搞了个前缀熵值估算,把每一条样本的评分时间从 2.24 秒压到了 0.37 秒,省了不少算力。

推荐理由:华为GTS提出EDCO动态课程微调方法,用推理熵值判断样本难度自动挑选训练数据,其前缀熵值估算把单样本评分时间从2.24秒降到0.37秒。

r/LocalLLaMA

vLLM 在混插 Blackwell/Ada 显卡集群上跑长上下文预填充,速度比 llama.cpp 快 4 到 6 倍

作者用 7 张混插显卡(RTX PRO 6000、PRO 5000、两张 5090 和三张改显存的 4090)测了三个推理引擎处理长上下文的效率。在 Qwen3.5-397B-A17B 模型上塞进 7.5 万 token 的上下文,vLLM 首 token 延迟 9.8 秒,预填充速度 7683 token/秒。

推荐理由:作者在 7 张混插 Blackwell 与 Ada 显卡上实测长上下文预填充,vLLM 处理 7.5 万 token 时首 token 延迟 9.8 秒、预填充速度 7683 token/秒,约为 llama.cpp 的 4 到 6 倍。

r/LocalLLaMA

骁龙 8 Elite 跑混合专家模型实测:CPU 推理反而比 NPU 快

一位 Reddit 用户用 24GB 内存的荣耀 Magic 7 Pro(骁龙 8 Elite)跑了几个混合专家(MoE)模型。在 Q4 量化下,LFM2-24b-a2b 跑到约 24 token/秒,Gemma 约 11 token/秒。

推荐理由:一位 Reddit 用户在 24GB 内存的荣耀 Magic 7 Pro 上实测骁龙 8 Elite 运行 MoE 模型,Q4 量化下 LFM2-24b-a2b 约 24 token/秒、Gemma 约 11 token/秒,CPU 推理快于 NPU。

5月17日星期日

量子位 · 公众号

一只机器狗,把英伟达的算力王座拱翻了

蔚蓝科技发了款消费级机器狗 BabyAlpha A3,用六颗芯片搭了个异构计算集群,直接在本地跑 7B 参数的大模型,推理速度到 280 TPS。视觉上配了 6600 万像素的摄像头,每秒能扫出 223.2 万个点云数据点,计划第三季度上市。不过正文因为环境验证没抓到具体内容,上面这些数字都来自外部摘要,实际表现和定价还没法核实。

推荐理由:蔚蓝科技在消费级机器狗上以六颗芯片组成异构集群本地运行70亿参数模型,推理速度标称280 TPS,为端侧算力方案提供了一个具体样本。

r/LocalLLaMA

同批模型在 Strix Halo、RTX 3090 和 RTX 5070 上的实测对比

一位用户自己跑了 55 组本地推理测试,覆盖 Strix Halo、RTX 3090 和 RTX 5070 三块卡、五种推理后端,模型从 0.35B 小不点到 35B-A3B 混合专家都有。结论很直接:能塞进 12GB 显存的模型,RTX 5070 比 RTX 3090 快。

推荐理由:一位用户自跑 55 组本地推理测试,覆盖三块显卡与五种后端,给出 12GB 显存内 RTX 5070 解码快于 RTX 3090 的实测对比。

Dwarkesh Patel 播客

预训练并行策略与翻车训练笔记

这篇笔记聊了两件事:预训练为什么容易跑崩,以及怎么把训练拆到多张 GPU 上。跑崩的核心原因有两个——破坏因果性和引入偏差。比如 MoE 路由里用专家选择(expert choice)分配 token,会让 token n 的去向依赖 token n+k 的路由结果,训练时看到了推理时看不到的信息。

推荐理由:作者拆解了预训练跑崩的两个原因,并解释 MoE 路由中专家选择为何让 token 的去向依赖后续路由结果,训练时看到推理时拿不到的信息。

5月16日星期六

Latent Space

Cerebras 上市市值冲到 600 亿美元,CFO 说已经在跑 OpenAI 的万亿参数内部模型

Cerebras 这次 IPO 收盘市值 600 亿美元,算是给坚持做大芯片的团队一个交代。CFO Bob Komin 公开说他们已经在服务万亿参数级别的模型,点名了 OpenAI 内部用的 5.4 和 5.5 版本,想打破“只适合小模型”的标签。

推荐理由:Cerebras 上市收盘市值 600 亿美元,CFO 公开表示公司已在服务万亿参数级模型,并点名 OpenAI 内部使用的 5.4 和 5.5 版本,为大芯片厂商承接前沿模型推理提供了新样本。

r/LocalLLaMA

Orthrus-Qwen3-8B:冻住 Qwen3-8B 主干,加一个扩散注意力头,一次前向最多吐出 7.8 倍的 token,输出分布数学上可证明不变

这个工作把 Qwen3-8B 的原始参数完全冻住,只额外训练一个扩散注意力头,让模型一次前向能生成多个 token,最高做到 7.8 倍。在 MATH-500 上实测 wall-clock 速度大约快了 6 倍。训练只动了 16% 的参数,用了不到 10 亿 token 的数据,在 8 张 H200 上跑了 24 小时。

推荐理由:研究团队冻结 Qwen3-8B 主干,仅训练一个扩散注意力头,在 MATH-500 上把单次前向的 token 吞吐提到最高 7.8 倍,墙钟时间约快 6 倍,输出分布保持不变。

彭博科技

Cerebras 上市首日涨了约 68%,公司市值冲到 670 亿美元左右,CEO 身家 32 亿美元

Cerebras Systems 在纳斯达克上市,是今年规模最大的 IPO。股价当天涨了约 68%,把公司市值推到了大约 670 亿美元。按这个市值算,CEO 手里的股份值 32 亿美元。这条是视频新闻,正文没披露具体的发行价、募资金额和公司营收数据,所以没法判断这个估值到底贵不贵。

推荐理由:Cerebras 在纳斯达克上市,首日股价涨约 68%,市值达到约 670 亿美元,为观察 AI 算力公司在公开市场的定价提供了一个具体参照。

5月15日星期五

r/LocalLLaMA

用 Jetson Orin NX SUPER 16GB 做了个完全离线的行李箱机器人,跑 Gemma 4 E4B,没联网也能聊

一个叫 Sparky 的行李箱机器人,核心是一块 Jetson Orin NX SUPER 16GB 的板子,跑的是 Gemma 4 E4B 模型(Q4_K_M 量化版,用 q8_0 做 KV 缓存)。首次响应延迟大概 200 毫秒,生成速度每秒 14 到 15 个 token,上下文窗口 12K。

推荐理由:个人开发者用 Jetson Orin NX SUPER 16GB 在行李箱上离线跑 Gemma 4 E4B,缓存首字延迟约 200 毫秒、生成每秒 14 到 15 个 token,是单板本地推理的一份实测记录。