跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

609 条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 241–260 条 · 共 609 条

6月2日星期二

AI HOT 精选

阶跃星辰发了 Step 3.7 Flash,一个 196B 参数的 MoE 模型,主打推理省钱

这个模型用了多矩阵分解注意力,把 KV-cache 的占用压到 DeepSeek 同类模型的 22% 左右,显存压力小很多。另外还把注意力和前馈网络解耦,方便在硬件上跑得更顺。模型走 Apache 2.0 协议,已经在 Fireworks AI 上可用,官方说能用来搭智能体应用。不过正文没给出具体跑分和延迟数据,实际效果还得看第三方实测。

推荐理由:阶跃星辰发布 196B 参数的 MoE 模型 Step 3.7 Flash,KV-cache 占用约为 DeepSeek 同类模型的 22%,并采用 Apache 2.0 协议在 Fireworks AI 上线。

纽约时报中文网

报告称中国军方过去六年一直在公开招标中指名要英伟达芯片

Wirescreen 翻查了 2019 到 2025 年的 3800 份采购记录,发现超过 500 次中国军方单位直接点名或按规格要求采购英伟达 A100、A800、H100、H800 等芯片。这些招标涉及核爆模拟、网络攻击和兵棋推演,但文件只记录了供应商承诺供货,没写最终有没有交付。

推荐理由:Wirescreen 翻查 2019 至 2025 年 3800 份采购记录,发现中国军方单位超过 500 次直接点名或按规格要求采购英伟达 A100、H100 等芯片,涉及核爆模拟与兵棋推演。

彭博科技

彭博:至少七所中国高校替军方找英伟达 H200 芯片

彭博这条视频报道说,至少七所支持中国军队和国防工业的高校正在想办法搞到英伟达 H200 芯片。正文没披露具体采购渠道、数量,也没说美国出口许可那边是怎么处理的。

推荐理由:彭博报道至少七所与中国军方和国防工业有关联的高校正设法获取英伟达 H200 芯片,为观察美国出口管制下高端算力流向提供了具体案例。

AI HOT 精选

开放模型吃掉七成用量,OpenRouter 上开源阵营的领头羊一直在换

OpenRouter 的统计显示,从 2025 年到现在,开源权重模型拿走了平台上 69.1% 的 token 用量,闭源模型只占 30.9%。每次有新模型扎堆发布,用量就会跳上一个新台阶。

推荐理由:OpenRouter 统计显示,2025 年至今开源权重模型占平台 token 用量的 69.1%,闭源模型为 30.9%,这一份额对比呈现了开发者调用偏好的分布。

彭博科技

至少七所中国军工背景高校在采购记录中求购英伟达 H200 芯片

彭博翻了一批采购记录,发现至少七所跟中国军方和国防工业有联系的大学在求购英伟达 H200 芯片。H200 是英伟达目前性能很靠前的一块 AI 训练/推理卡,美国对它出口中国有管制。报道没写这些采购最终有没有成交、通过什么渠道拿货、数量有多少,只是点出了“有人在要”这个事实。

推荐理由:彭博从采购记录中发现至少七所与中国军方有关联的高校求购英伟达 H200,报道只确认了采购意向,未涉及成交与渠道,出口管制下算力需求的流向由此多了一个可查的观察面。

r/LocalLLaMA

英特尔在 Computex 2026 发布 Crescent Island GPU,最高 480GB 显存

英特尔在 Computex 2026 上推出了新显卡 Crescent Island,用的是 Arc Xe 3P 架构。最抓眼球的配置是最高能堆到 480GB 的 LPDDR5X 显存,这对想在本地跑大模型的人来说,意味着能塞进更大的模型,不用频繁地往硬盘里倒腾数据。整卡功耗标了个 350W 风冷,不算低,但还在单卡能压住的范围。

推荐理由:英特尔在 Computex 2026 推出 Crescent Island GPU,最高 480GB 的 LPDDR5X 显存让本地运行大模型时能容纳更大模型,减少频繁读取硬盘。

6月1日星期一

Latent Space

视频智能体是下一个方向:Ethan He 谈 xAI Grok Imagine 的三个月从零到一

Ethan He 在 NVIDIA 做完 Cosmos 世界模型后跳到了 xAI,带着一个小团队三个月就做出了 Grok Imagine。他有个很直接的观点:视频模型现在的智能主要来自语言模型,不是靠堆视频数据训练出来的。下一个 Sora 级别的突破不会是更好的视频生成模型,而是能规划、生成、修改、反复打磨一个完整创意任务的视频智能体。

推荐理由:xAI 的 Ethan He 带小团队三个月做出 Grok Imagine,并判断视频模型的智能主要来自语言模型,下一个突破在能规划、生成、修改完整创意任务的视频智能体。

AI HOT 精选

开源与闭源模型,正走在两条不同的增长曲线上

作者 Nathan Lambert 的核心判断是:在编程智能体这类对智商极度敏感的场景里,用户会一直为最聪明的闭源模型付高价,他自己就愿意每月掏 2000 美元。闭源实验室会逐渐把最好的模型藏起来,不在 API 里轻易放出,以保护利润和防止被蒸馏。

推荐理由:作者 Nathan Lambert 判断,编程智能体等场景的用户会持续为最聪明的闭源模型付高价,闭源实验室也会把最好的模型藏起来不轻易放出,这给出了一种开源与闭源走向分化的具体解释。

AI HOT 精选

OpenAI 在密歇根州动工开建 1GW 数据中心,属于 Stargate 计划

OpenAI 联合 Oracle 等伙伴,在密歇根州 Saline 市破土动工一个叫“The Barn”的数据中心园区,总供电容量 1GW。官方承诺电费不会转嫁给当地居民,冷却系统用的是闭环设计,耗水量跟一栋普通办公楼差不多。

推荐理由:OpenAI 联合 Oracle 等伙伴在密歇根州 Saline 动工 1GW 数据中心园区,官方称电费不转嫁当地居民,冷却采用闭环设计。

r/LocalLLaMA

网友在双 DGX Spark 上跑 DeepSeek V4 Flash:预填充 1680 token/s,解码 39.8 token/s

一位 Reddit 用户用两台华硕 GX10(DGX Spark)组了个小集群,通过 vLLM 加载 DeepSeek-V4-Flash 模型。在 256K 上下文窗口、开启多 token 预测(MTP=2)的设置下,测得预填充速度 1680 token/s,解码速度 39.8 token/s。

推荐理由:Reddit 用户用两台华硕 GX10 组成集群,在 256K 上下文下实测 DeepSeek-V4-Flash 的预填充与解码速度,并给出张量并行、RoCE 网络等完整配置。

AI HOT 精选

NVIDIA 发布 RTX Spark 本地 AI 电脑,1 petaflops 算力跑智能体,llama.cpp 优化让 Qwen 27B 吞吐翻倍

NVIDIA 在 Computex 上发了台叫 RTX Spark 的 Windows 电脑,专门在本地跑 AI 智能体。配置给得挺足:1 petaflops AI 算力、128GB 统一内存,意思是大模型不用来回倒腾显存。安全方面,他们和微软合作搞了个 OpenShell 运行时,用 Windows 新的安全接口把智能体锁在设备本地跑,数据不出机。

推荐理由:NVIDIA 在 Computex 发布 RTX Spark,用 1 petaflops 算力和 128GB 统一内存把大模型跑在本地,并与微软合作以 OpenShell 运行时将智能体限制在设备内。

AI HOT 精选

英伟达发布 PC 芯片,正式杀入 Windows 笔记本市场

英伟达推了一款面向 PC 的新芯片,要跟英特尔和 AMD 抢 Windows 笔记本的生意。不过这篇报道正文没披露具体规格、定价、上市时间,也没提 AI 算力指标,所以性能到底怎么样、卖多少钱、什么时候能买到,现在都还不清楚。

推荐理由:英伟达推出面向 PC 的新芯片,进入由英特尔和 AMD 主导的 Windows 笔记本处理器市场,这条消息可帮助读者了解该市场长期竞争格局可能面临的新变量。

r/LocalLLaMA

有人把英伟达 Parakeet 语音转文字模型移植到了 ggml,不再需要 Python,还能量化压缩

开发者 mudler_it 把英伟达的 Parakeet 语音转文字模型用 C++ 和 ggml 重写了一遍,彻底甩掉了 Python 和 PyTorch。他测试下来,在 f32 和 f16 精度下输出结果和原版 NeMo 逐字节一致,但速度更快,大一点的 TDT 和混合模型在 GPU 上能跑到大约 5 倍加速。

推荐理由:开发者用 C++ 和 ggml 重写了英伟达 Parakeet 语音转文字模型,去掉 Python 与 PyTorch 依赖,f32 和 f16 精度下输出与原版 NeMo 逐字节一致,GPU 上大模型约 5 倍加速。

5月31日星期日

AI HOT 精选

苹果 WWDC 要拿 Gemini 蒸馏出的小模型跑在 iPhone 上,复杂问题还是会甩给谷歌云

下个月 WWDC 苹果会展示 Siri 和端侧 AI 的升级,核心思路是把谷歌 Gemini 模型“蒸馏”成一个小号版本,直接在 iPhone 芯片上本地跑,主打隐私和省 token 费。但整个技术栈对外依赖很重:本地模型源自 Gemini 蒸馏,手机处理不了的复杂请求会路由到谷歌云,还用了英伟达的机密计算。

推荐理由:苹果将在 WWDC 展示把 Gemini 蒸馏成小模型在 iPhone 本地运行,复杂请求仍路由到谷歌云,技术栈对外依赖明显。

量子位 · 公众号

英伟达、微软、Arm 同发预告,传老黄自研 CPU 笔记本 N1X 要来了

三家公司在同一天发了同一张“PC 新纪元”的预告图,指向一台传闻中由英伟达主导设计的笔记本 N1X。目前流出的配置是 20 核 Arm 架构 CPU、Blackwell GPU、6144 个 CUDA 核心和 128GB LPDDR5X 统一内存,听起来像一台给 AI 开发者准备的移动工作站。

推荐理由:英伟达联合微软、Arm 同天发布 PC 新纪元预告,指向其主导设计的 N1X 笔记本,20 核 Arm CPU 与 128GB 统一内存的配置,为观察 Arm 架构进入高性能移动端提供了一份具体样本。

r/LocalLLaMA

我花 6400 美元搭了一台本地大模型服务器,一年下来比用 API 便宜了 700 多

作者晒了一台自组的本地大模型服务器,总花费 6406.45 美元,核心配置是 4 张 AMD MI100 显卡,主要跑 Qwen3.6 27B 模型。这台机器每天处理约 2040 万个输入 token 和 132 万个输出 token。

推荐理由:作者晒出自组本地大模型服务器的完整账单,4 张 AMD MI100 显卡加电费折旧共 6406.45 美元,按每天约 2040 万输入 token 的负载算出首年比调 API 省 700 多美元。

AI HOT 精选

NVIDIA 用 DynoSim 给推理部署做模拟器,一次能跑几千种配置,速度是实时的 1500 倍

NVIDIA 给自家推理服务框架 Dynamo 配了个仿真工具 DynoSim,用 Rust 写成。它把部署测试变成“先在虚拟时间线上模拟、再挑最好的上真机”的流程,不用一个个试。测试里它能跑到实时速度的 1500 倍,一次筛几千种配置。

推荐理由:NVIDIA 为推理框架 Dynamo 配套了 Rust 写的仿真工具 DynoSim,把部署配置筛选从真机逐个试改为虚拟时间线批量模拟,测试中达到实时速度的 1500 倍。

5月30日星期六

r/LocalLLaMA

把一块 RTX Pro 6000 塞进 2016 年的戴尔 R730 服务器,跑 65 万 token 上下文

作者想把一块最新的 RTX Pro 6000 Blackwell 显卡装进一台 2016 年的戴尔 PowerEdge R730 服务器里,目标是搭一台能跑 65 万 token 上下文的本地 AI 盒子。过程不顺利:先要切掉风扇导流罩才能把卡塞进去,接着用双 riser 卡解决供电,然后系统卡在 PCIe BAR 分配上,根本认不到全部显存。

推荐理由:作者尝试把 RTX Pro 6000 装进 2016 年的戴尔 R730 服务器,目标是跑 65 万 token 上下文,过程中遇到风扇导流罩、供电和 PCIe BAR 分配等硬件障碍。

AI HOT 精选

xAI 放弃 JAX GPU,改用自研 C 语言训练框架

SemiAnalysis 爆料 xAI 已经不用 JAX 在 NVIDIA GPU 上训练模型了,转而用 Grok Build 写了一套 C 语言训练框架。报道说 xAI 的 JAX 方案模型浮点利用率(MFU)不到 10%,这个数字很低,意味着大部分算力都浪费在调度和通信上,没真正花在训练上。

推荐理由:xAI 弃用 JAX 在 NVIDIA GPU 上的训练方案,改用 Grok Build 自研的 C 语言框架,原方案模型浮点利用率不到 10%。

机器之心 · 公众号

苹果搞了个叫 PICO 的图像压缩方案,画质不变,文件能小到三分之一

苹果发了篇论文介绍 PICO,一个用 AI 做图像压缩的编解码器。在主观画质差不多的情况下,它比 AV1、VVC 和 JPEG AI 省 57% 到 70% 的码率,也就是说文件体积能压到原来的三分之一甚至更少。在 iPhone 17 Pro Max 上跑,压一张 1200 万像素的照片要 230 毫秒,解压要 150 毫秒。

推荐理由:苹果论文介绍 PICO 图像编解码器,在主观画质相近时比 AV1、VVC 和 JPEG AI 省 57% 到 70% 码率,并在 iPhone 17 Pro Max 上给出端侧编解码耗时。