部署工程

把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。

5月15日星期五

r/LocalLLaMA5/15 02:16

网友追踪欧盟 15 家店 50 多天显卡价格：只有 RTX 5090 没降价，还涨了 3%

Reddit 用户 egudegi 用脚本每 6 小时抓一次欧盟 15 家店的显卡价格，攒了约 12.6 万条数据。结果显示 RTX 5090 均价从 3392 欧元涨到 3487 欧元，涨了 3%，是唯一没降价的型号。帖子正文被 Reddit 安全策略拦截，看不到更细的型号对比和店铺来源，所以没法判断涨价是普遍缺货还是个别渠道在抬价。

推荐理由：这篇是一个Reddit用户自己爬了15家欧盟商店50多天的GPU价格，总共抓了约12.6万条记录，然后发现RTX 5090是唯一没降价的卡，均价还从3392欧元涨到了3487欧元，涨了3%。我会先打个折：数据源是个人帖子，不是机构报告，样本也只覆盖欧盟线上标价，不代表实际成交价或全球行情。但它的好处是给了很具体的数字和时间跨度，不是随口说“感觉涨价了”。对想买卡跑本地模型的人来说，这个信号挺直接——5090不仅贵，还在变贵，其他卡在跌，说明供需关系确实不一样。这点先别太激动，正文没披露每家店的库存和销量，价格涨可能是货少，也可能是需求硬，没法下结论...

锐评

这条数据挺有意思：有人用脚本每 6 小时抓一次欧盟 15 家店的显卡价格，攒了 12.6 万条记录，跑了 50 多天。结果 RTX 5090 均价从 3392 欧元涨到 3487 欧元，涨了 3%，是唯一没降价的型号。其他卡都在跌，说明市场整体在降温，但 5090 的供需还是紧。

不过得打个折。帖子正文被 Reddit 安全策略拦截了，我们看不到更细的型号对比、店铺来源和价格分布。涨价 3% 是普遍缺货还是个别渠道在抬价，正文没披露。也没法判断这 15 家店覆盖了多大市场份额，数据能不能代表欧盟整体行情。

对想买 5090 跑本地模型的人来说，这条信息说明现在不是好时机，但缺的细节太多，没法做更具体的购买建议。如果作者能补上店铺名单和型号细分，这条数据的参考价值会高很多。

r/LocalLLaMA5/15 01:28

RTX 5000 PRO 48GB 实跑测试：27B 模型跑到 80 tok/s，200k 上下文全精度缓存

一位完全没装过机的 Reddit 用户花了 5600 美元攒了一台 RTX 5000 PRO 48GB 的机器，单卡跑 Qwen3.6-27B-FP8 模型。他自己说装机全靠问 LLM，配 vLLM 时烧掉了 Claude Code 一半的周额度才搞定。实测下来，生成速度最高能到每秒 80 个 token，提示很长时掉到 50–60 tok/s，但提示...

推荐理由：这篇来自 Reddit 的个人装机实测，把价格和跑分都摆出来了，对想自己攒机跑大模型的人参考价值很高。我会先打个折：只有单卡、单模型、单人测试，没对比其他卡，也没提散热和长期稳定性，所以不能直接当采购指南。但 48GB 显存能跑 27B 模型还这么快，确实让人对本地推理的成本和体验更有信心。

锐评

这条帖子来自一个完全没装过机的 Reddit 用户，他花了 4300 美元买卡、总共 5600 美元攒了一台机器，单卡跑 Qwen3.6-27B-FP8 模型。他自己说装机、配 Linux 和 vLLM 全靠问 Claude Code，还烧掉了一半的周额度才搞定。

实测数据挺实在：生成速度最高 80 tok/s，提示很长时掉到 50–60 tok/s；提示处理速度 4400 tok/s，这个数字对单卡来说确实快。他用的是全精度缓存，能塞下 20 万 token 的上下文。他对比了 Mac Studio 和双 5090，认为这张卡在功耗、噪音和成本之间找到了一个平衡点——比 5090 贵 1000 美元，但显存多了一倍，功耗只有一半。

不过得打个折：这是单用户、单场景的体验，没跑其他模型，也没做并发或长时间稳定性测试。正文没披露温度、功耗墙和风扇策略这些细节，也没提推理延迟的百分位数分布。如果真想判断这张卡的生产力价值，还得看多用户并发、微调场景和连续运行几小时后的表现。

TechCrunch · AI5/15 00:30

Cerebras 上市首日股价翻倍，先融了 55 亿美元

Cerebras 在 2026 年第一个大型科技 IPO 里融到 55 亿美元，上市当天股价涨了 108%。正文没披露发行价、估值、发行股数和这笔钱具体怎么花。

推荐理由：Cerebras 用 55 亿美元融资和首日翻倍的股价，给 2026 年的科技 IPO 开了个头。这不是模型发布，而是一家 AI 芯片公司上市，直接打到了算力资本市场的点上，所以给 90 分、p1 级别。正文没写发行价、估值和钱怎么花，我会先打个折，但标题本身的信息量已经够硬。

AI HOT 精选5/15 00:08

Arm 和 Google 联手，让手机本地跑音频模型快了 2 倍多

Arm 的新指令集 SME2 把矩阵计算单元直接塞进了 CPU，不用再纠结是忍受 CPU 慢还是外挂专用加速器。Google AI Edge 的 LiteRT 和 XNNPACK 能自动调用这套指令，拿 Stability AI 的音频生成模型 stable-audio-open-small 在 Arm 手机上测试，生成速度提升超过 2 倍，内存占用降...

推荐理由：我会先打个折：这篇只针对一款音频模型在 Arm 设备上的优化，覆盖面不宽。但 2 倍加速和 4 倍内存缩减这两个数字很实在，不是实验室跑分，是直接落到移动端和笔记本上的效果。文章把 SME2 指令集怎么跟 Google AI Edge 的推理管线配合讲得比较清楚，没有堆术语吓人。对正在头疼边缘端延迟和内存成本的团队来说，这是一条能直接抄作业的参考。信息量够上 featured，但别指望它能推广到所有生成式模型。

锐评

这条消息对做端侧推理的人挺实用。Arm 的新指令集 SME2 相当于把原本需要外挂加速器的矩阵运算直接集成进了 CPU，不用再在速度和兼容性之间做取舍。Google AI Edge 这边的 LiteRT 和 XNNPACK 能自动识别并调用这套指令，开发者不用自己改模型结构。拿 Stability AI 的 stable-audio-open-small 在 Arm 手机上跑，音频生成速度提升超过 2 倍，内存占用降到原来的四分之一，这两个数字在手机这种资源紧张的环境里确实能省不少事。

不过得打个折。全文只展示了这一个音频模型的测试结果，没提视觉、语言类模型的表现。不同模型的计算图差异很大，SME2 的加速效果能不能泛化到其他任务，正文没给数据。另外，实际功耗和发热也没披露，这对手机端部署比单纯的速度数字更重要。建议等第三方用更多模型跑一遍再看要不要跟进。

5月14日星期四

彭博科技5/14 23:21

AI 芯片公司 Cerebras 上市首日股价涨了 68%，是今年最大一笔 IPO

Cerebras 做的是巨型 AI 训练芯片，跟英伟达走完全不同的路线。这次上市融了 55.5 亿美元，首日收盘涨了 68%。不过正文没披露 IPO 发行价和对应估值，也没说这 55.5 亿是发行收入还是包含超额配售。我会先打个折——股价涨得猛，但公司长期得证明自己的芯片在训练大模型时真能比英伟达更省钱、更好用，目前还没看到客户结构或营收细节。

推荐理由：Cerebras 拿 55 亿美元上市首日涨 68%，给 AI 芯片赛道一个公开市场的价格锚点。我会先打个折：正文没披露发行价和估值，没法算它到底贵不贵，但涨幅本身说明资金还在找英伟达以外的故事。三个维度都踩中，没有硬排除项。

锐评

Cerebras 做的是整块晶圆大小的巨型 AI 训练芯片，跟英伟达走完全不同的路线。这次上市融了 55.5 亿美元，是今年最大的一笔 IPO，首日收盘涨了 68%，市场情绪确实很高。但正文没披露 IPO 发行价和对应估值，也没说这 55.5 亿是纯发行收入还是包含了超额配售部分，所以没法判断它现在到底贵不贵。

更关键的信息缺口在业务层面：没看到客户结构、营收规模、毛利率这些数据。Cerebras 的芯片在训练大模型时能不能真的比英伟达更省钱、更好用，目前还只是技术路线上的说法，没有公开的客户验证和财务数字支撑。股价涨得猛，但长期得看它能不能把技术优势转化成持续的收入，这点现在完全看不清。

量子位 · 公众号5/14 12:11

摩尔线程把 SGLang 的 MUSA 后端合进了主线，还拉来核心开发者一起聊了聊

摩尔线程办了一场 SGLang × MUSA 线下交流会，宣布 MUSA 后端已经并入 SGLang 主分支。截至 5 月 12 日，他们一共提了 47 个 PR，其中 41 个被合并。不过正文因为环境验证问题没能加载出来，具体技术细节和现场讨论内容暂时看不到。

推荐理由：我会先打个折：这不是模型发布，也不是平台级大更新，更像推理后端生态的一次实质性进展。但 47 个 PR、41 个合入的数字说明摩尔线程不是挂个名，是真在往 SGLang 主线里交代码。对国内做推理部署的人来说，MUSA 后端进主线意味着以后用 SGLang 时多了一条国产卡的路，这点先别太激动，正文没披露实际性能对比和线上规模，但至少代码层面已经打通了。

锐评

这条消息的核心就一句话：国产GPU厂商摩尔线程办了个线下交流会，宣布他们的MUSA后端已经合入SGLang主分支。SGLang是现在大模型推理部署的热门框架，能直接在主分支里跑国产卡，对用摩尔线程硬件的团队来说省了一层适配的麻烦。截至5月12日，他们提了47个PR，合并了41个，这个合并率说明社区对代码质量是认的。

但问题也出在这里——正文因为微信环境验证没加载出来，所有技术细节都是空白。我不知道现场到底跑了什么模型、吞吐量和延迟跟CUDA后端差多少、支持哪些卡、有没有多卡并行的实测数据。这些才是判断这件事含金量的关键。PR数量只能说明提交活跃，不能说明性能到位。

另外，标题里提到Mooncake也来了，但正文同样没展开。Mooncake是月之暗面开源的推理加速项目，如果他们跟摩尔线程有具体合作，那价值会大不少。目前只能先打个折：方向是对的，但缺实测数字和合作细节，别急着下结论。

AI HOT 精选5/14 10:55

OpenSquilla 用本地路由和缓存把大模型传输量砍掉九成以上

OpenSquilla 这个开源项目把模型路由决策放在本地跑，不花 token 就能判断问题难易：简单问题丢给便宜模型，复杂问题才上强模型。它靠增量发送和缓存命中把实际传输的 token 量压到原来的十分之一以下。记忆模块会在上下文快满时自动挑重点压缩，还支持混合检索。正文没披露具体测试场景和模型阵容，所以这 90% 的降幅在什么任务上测出来的还不清楚...

推荐理由：我会先打个折：信息来自一篇 X 上的项目帖，仓库实际活跃度、测试环境和局限性正文都没披露，所以别急着全信。但它的思路很实在——用本地路由和缓存把要传给大模型的 Token 砍掉九成，等于把“外挂资料库”和推理优化打包成一个开源工具。对正在想办法压推理成本的小团队来说，哪怕只实现一半效果也值得关注。

锐评

OpenSquilla 把模型路由这件事从云端搬到了本地，不花 token 就能判断问题难易，简单问题丢给便宜模型，复杂问题才上强模型。这个思路本身挺实在，等于在请求发出去之前先做一次分流，省掉了一部分不必要的推理开销。它还用增量发送和缓存命中把实际传输的 token 量压到原来的十分之一以下，记忆模块会在上下文快满时自动挑重点压缩，支持混合检索，功能堆得挺全。

但正文没披露具体测试场景和模型阵容，这 90% 的降幅是在什么任务上跑出来的、对比的是哪套模型组合，全都不清楚。如果测的是极端重复的对话场景，缓存命中率天然就高，数字会好看很多。另外路由决策本身虽然不花 token，但本地做判断的准确率怎么样，会不会把该上强模型的问题误判成简单问题，这点也没交代。

还缺的是跟现有方案的成本对比，比如跟直接全量走便宜模型、或者用云端路由服务比，到底省了多少。功能列得热闹，但没看到实际跑分和失败案例，暂时只能当个有意思的方向看。

AI HOT 精选5/14 10:24

Unsloth 放出 Qwen3.6 MTP GGUF 模型，推理速度提升超 1.4 倍

Unsloth 创始人 Daniel Han 发了几个实验版 Qwen3.6 MTP GGUF 模型，用了一种叫“投机解码”的技术来加速推理。具体做法是让模型一次猜两个草稿 token（draft tokens=2），在速度和猜对率之间找了个平衡点。效果上，27B 模型在单张 GPU 上能跑到每秒 140 个 token，35B-A3B 版本能到每秒 ...

推荐理由：我会先打个折：正文只给了一条 X 动态，没披露用的什么 GPU、量化到几比特、怎么复现。所以分数停在低 featured 是合理的。但亮点很实在——用 MTP 投机解码把 27B 和 35B-A3B 的推理速度拉到一个单卡就能爽用的水平，对本地部署和低成本推理场景是个直接利好。这点先别太激动，等补上硬件和量化细节再往上调。

锐评

Daniel Han 放出的这几个 Qwen3.6 MTP GGUF 模型，核心卖点是推理快。27B 模型单张 GPU 跑到每秒 140 个 token，35B-A3B 版本能到 220 token/s，比原版 GGUF 快了 1.4 倍以上，而且说精度没掉。

快的原理是投机解码，让模型一次猜两个草稿 token，在速度和猜对率之间找了个平衡点。这个思路不新，但把 draft tokens 定在 2 并做成 GGUF 格式直接可用，对想在消费级显卡上跑大模型的人来说确实省事。

不过得打几个折。首先这是实验版，正文没提在哪些基准上验证过精度无损，也没说接受率具体是多少。其次，投机解码的实际加速效果很吃任务类型和硬件，换到长文本生成或复杂推理场景，220 token/s 这个数字不一定稳得住。另外，模型本身是 Qwen3.6 的衍生版，如果上游模型在特定任务上有短板，加速也解决不了。想用在生产环境，最好拿自己的数据和任务测一下延迟和输出质量，别只看峰值速度。

AI HOT 精选5/14 09:19

杨植麟发 40 分钟视频拆解 Kimi K2：训练花了 460 万美元，编程跑分压过 GPT-5.5

杨植麟在视频里把 Kimi K2 的训练账本摊开了：总花费 460 万美元，靠线性注意力等架构上的极致优化，在编程任务上跑赢了 GPT-5.5 等对手。这个数字说明他们用远低于大厂的预算，靠设计把资源差距抹平了。不过视频是创始人自述，没有第三方验证，跑分对比的具体基准和测试条件也没展开，这点先别太激动。

推荐理由：杨植麟用40分钟视频把Kimi K2的训练账本摊开来看，460万美元的成本在同类模型里算低，编程任务上敢直接叫板GPT-5.5，这个对比本身就有传播力。不过视频是单一信源，具体用了哪些基准测试、对比条件是什么，正文没披露，所以分数卡在84不往上走。我会先打个折，等看到独立复现或更多技术细节再调整。

AI HOT 精选5/14 08:00

AI 替你处理邮件，一个月要花多少钱？

作者拿主流大模型算了一笔账：让 AI 帮你读、写、整理邮件，每月推理成本在 22 到 130 美元之间，中位数 26 美元。如果做成 SaaS 产品，按 75% 毛利率定价，一年大概要收 500 美元，比 Google 企业版贵一倍。想省钱的话，换小模型能把成本压到十分之一甚至二十分之一；更狠的做法是直接在用户自己的 GPU 上跑，边际成本趋近于零。文...

推荐理由：这篇文章没发布新模型或产品，就是一篇成本算账的评论。我会先打个折：它把顶尖模型、小模型和本地部署三条路径的月费摆在一起，22–130 美元对比近零成本，数字直观，对正在掂量 AI 邮件代理是否划算的团队有参考价值。正文没披露测试用的具体模型名和邮件量，所以这些数字只能当量级参考，别直接套进预算表。整体是一篇有用的观点分析，不是重大发布，所以重要性给 73 分。

锐评

Tomasz Tunguz 这篇博客没画大饼，直接拿主流大模型的 API 价格算了一笔账：让 AI 帮你读、写、整理邮件，每月推理成本在 22 到 130 美元之间，中位数 26 美元。这个数字本身不算吓人，但一旦按 SaaS 的 75% 毛利率打包成产品，年费就要 500 美元左右，是 Google 企业版的两倍。用户会不会掏钱，正文没给结论，只说“工作中很多人可能会”。

文章最有用的部分是降本路径。换小模型能把成本压到十分之一甚至二十分之一；更彻底的做法是直接在用户自己的 GPU 上跑推理，边际成本趋近于零。作者认为接下来一两年 AI 软件的核心就是这种“看人下菜碟”的推理分层：能写死规则的就别调模型，该用小模型就别上大家伙。

不过这篇分析缺几个关键信息：没说明每月处理多少封邮件、多长的上下文，也没区分“读邮件”和“写回复”的 token 消耗差异。另外，本地跑虽然省钱，但用户设备门槛、延迟和隐私权衡都没展开。这些缺口让 26 美元这个中位数只能当个参考锚点，别直接拿去写商业计划书。

AI HOT 精选5/14 08:00

让 GPU 别闲着：用异步批处理榨干推理性能

Hugging Face 发现，一个 80 亿参数的模型在生成 8000 个 token 时，GPU 有 24% 的时间在空转。原因出在同步批处理上：CPU 准备下一批数据时，GPU 只能干等，反之亦然。这篇文章讲的是怎么用 CUDA 流把这两件事拆开并行，让 CPU 准备第 N+1 批的同时，GPU 已经在算第 N 批，把空闲缝隙填满。

推荐理由：我会先打个折：这不是新模型发布，是推理系统的工程优化。Hugging Face 给了一个具体的 24% GPU 空闲率，并解释了用 CUDA 流重叠 CPU 与 GPU 工作的机制，对跑线上服务的团队有参考价值，但属于底层技巧而非行业大新闻，所以放在低 featured 档。

锐评

这篇文章讲的是怎么把推理服务里 CPU 和 GPU 的“轮流休息”改成“同时干活”。他们拿一个 80 亿参数的模型做测试，生成 8000 个 token 时，GPU 有 24% 的时间是闲着的。原因很简单：同步批处理下，CPU 准备下一批数据时 GPU 只能干等，反过来也一样。文章给出的解法是用 CUDA 流把这两件事拆开，让 CPU 准备第 N+1 批的同时，GPU 已经在算第 N 批。

这个思路不新鲜，但文章把实现细节讲得比较清楚，包括怎么用 CUDA 事件来强制同步、怎么处理竞争条件和 carry-over 这些坑。不过正文没给出优化后的具体吞吐提升数字，也没提不同模型规模下的收益差异。这点先别太激动，24% 的空闲是特定场景下的测量值，换个小模型或者短文本，收益可能没那么大。另外，异步引入的复杂度会不会在工程上带来新的稳定性问题，文章也没展开。

FT · 科技5/14 07:10

Cerebras 上调 IPO 定价，目标融资 55 亿美元

Cerebras 提高了首次公开募股的价格区间，想通过上市拿到 55 亿美元。按这个融资额倒推，公司估值大概在 400 亿美元。不过正文被付费墙挡住了，具体的发行价区间、发行股数和上市日期都没披露，所以这个估值是怎么算出来的还不清楚。

推荐理由：FT 报道 Cerebras 把 IPO 价格往上调，目标募 55 亿、估值 400 亿。我会先打个折——正文没给发行区间和股数，所以估值怎么算出来的还不清楚。但光这个募资规模就够分量，说明二级市场对非英伟达 AI 芯片故事有胃口。对从业者，这关系到算力供应会不会多一个选项，这点先别太激动，等招股书出来再看具体数字。

r/LocalLLaMA5/14 06:25

双卡 RTX 3090 跑 Qwen 3.6 27B：48G 显存、26 万上下文窗口，生成速度 113 token/秒

一位 Reddit 用户用两张 RTX 3090 在 Ubuntu 上跑 Qwen 3.6 27B 模型，没上 NVLink。处理长文本时每秒能啃 4000 个 token，生成回答的速度是每秒 113 个 token。这个速度日常聊天或做文档处理都够用。不过帖子正文被 Reddit 的安全策略挡了，看不到具体配置细节，比如用的是哪个量化版本、功耗和温...

推荐理由：我会先打个折：这是单个 Reddit 帖子，没披露量化方式、批处理大小和功耗，复现细节不够。但 HKR 三条都踩中了——配置具体、数字清楚、直击本地推理玩家的痛点，所以给到 featured 的低位。

锐评

这条帖子展示了一个挺实在的本地部署方案：用两张 RTX 3090 显卡，总共 48G 显存，跑通 Qwen 3.6 27B 模型，没用到 NVLink 桥接器。处理长文本时每秒能啃 4000 个 token，生成回答的速度是每秒 113 个 token。这个速度对于日常聊天、文档处理来说完全够用，说明消费级显卡堆显存跑大模型这条路确实走得通。

但信息缺口也很明显。帖子正文被 Reddit 的安全策略挡了，我们看不到具体配置细节。最关键的是不知道用了什么量化版本——是 4-bit 还是 8-bit，这直接影响模型效果和显存占用。另外功耗、温度、双卡负载均衡这些实际部署中很要命的数据也没披露。如果是 4-bit 量化跑出这个速度，那效果可能打折；如果是全精度，那 48G 显存可能不够塞 27B 模型加长上下文。

还缺一个关键对比：单张 3090 跑同级别模型是什么表现？如果双卡只是勉强跑通，而单卡跑小一号模型速度更快，那性价比就要重新算了。

r/LocalLLaMA5/14 04:41

老显卡 GTX 1080 跑 30B 混合专家模型，每秒能出 24 个 token

用户 mdda 在一台老机器（i7-6700、GTX 1080 8GB 显存、32GB 内存）上跑 Qwen 3.6 35B-A3B 这类约 300 亿参数的混合专家模型，推理速度到了每秒 24 个 token 左右，上下文窗口开到 128k。他的做法是把模型里的一部分专家层卸载到显卡上跑，其余放内存，同时用 TurboQuant 和 RotorQua...

推荐理由：单条 Reddit 帖子权威性不高，但配置和数字很具体，对想用老硬件跑大模型的从业者有参考价值。我会先打个折，这不算正式产品发布或模型更新，但实操信息够硬，适合放进 featured。

锐评

这条分享来自Reddit用户mdda，他在一台i7-6700、GTX 1080 8GB显存、32GB内存的老机器上，用llama.cpp跑Qwen 3.6 35B-A3B这类约300亿参数的混合专家模型，推理速度到了每秒24个token左右，上下文窗口开到128k。做法是把模型的部分专家层卸载到显卡上跑，其余放内存，同时用TurboQuant和RotorQuant压缩KV缓存。PCIe 3.0 x16带宽被吃满，显卡利用率在40%到50%之间，说明瓶颈不在计算，而在数据传输。

这个速度对日常对话或辅助写作已经够用，但要注意，24 tok/s是在特定模型和量化方案下达成的，换其他MoE模型未必能复现。正文没披露具体的量化精度和卸载比例，也没提首token延迟，这两个指标对实际体验影响很大。另外，128k上下文下KV缓存压缩后的质量损失也没给出对比数据，这点先别太激动。

如果你手头有类似的老卡，这条经验值得一试，但最好先确认自己的主板PCIe带宽是否够，以及内存频率对速度的影响有多大，这些正文都没展开。

彭博科技5/14 04:11

AI 芯片公司 Cerebras IPO 定价每股 185 美元，募资 55.5 亿美元

Cerebras 这次上市募了 55.5 亿美元，是今年美股最大的一笔 IPO。定价落在每股 185 美元，但正文被 Bloomberg 的付费墙挡住了，没披露对应估值和发行股数。这家公司做的是巨型 AI 训练芯片，直接跟英伟达抢生意，上市后手里现金会厚很多，但后续量产和客户集中度的问题还得看招股书细节。

推荐理由：Cerebras 在美国 IPO 拿到 55.5 亿美元，标题说是今年最大的一笔。我会先打个折：正文没披露发行价和估值，所以没法判断市场到底给了它多高溢价。对 AI 从业者来说，这关系到算力供应会不会多一个选择，以及跟 NVIDIA 的竞争格局会不会松动一点。但缺了定价和估值，这条消息还够不上行业地震级别，先当重要动态看。

锐评

Cerebras 这次上市拿了 55.5 亿美元，定价每股 185 美元，标题直接说是今年美股最大一笔 IPO。它做的不是普通 AI 芯片，而是整片晶圆大小的巨型芯片，专门用来训练大模型，直接对标英伟达。这笔钱到账后，公司现金储备会厚很多，在跟英伟达抢客户时底气更足。

但关键信息全卡在 Bloomberg 的付费墙后面。正文没披露对应估值、发行股数、现有股东有没有套现，也没提营收、亏损和客户集中度。Cerebras 之前公开的财务数据显示收入高度依赖少数大客户，这个风险在招股书里怎么写的，现在看不到。另外，这种巨型芯片量产良率和供应链稳定性，也是决定它能不能真正抢到份额的核心，正文同样没提。

我会先打个折：55.5 亿这个数字确实大，说明市场愿意给 AI 硬件新玩家机会，但没看到估值和业务底牌之前，别急着下判断。等招股书细节出来，再看它到底是真能打，还是趁窗口期赶紧上岸。

AI HOT 精选5/14 01:34

Meta 在 WhatsApp 里上线隐身聊天，推理跑在手机安全区、不留服务器日志

Meta 首席 AI 官宣布 WhatsApp 和 Meta AI 上线 Incognito Chat。和 ChatGPT 那种只不存历史记录的临时聊天不一样，这次对话推理完全在手机硬件安全飞地内完成，Meta 工程师拿不到明文，也不产生服务器日志，会话结束后数据永久删除。等于把 WhatsApp 的端到端加密标准搬到了 AI 对话上，想让你敢聊健康、...

推荐理由：我会先打个折：正文只给了官方公告，没第三方实测，也没说安全飞地具体怎么隔离、性能损耗多少。但亮点很直白——隐身聊天把推理塞进手机硬件安全区，服务器不记日志，聊完数据就没了。这对端侧推理和隐私合规是个信号，只是目前信息量撑不起更高权重，排在模型发布和重大能力更新后面比较合适。

锐评

这条新闻的核心不是“又出了个隐身模式”，而是推理位置变了。ChatGPT的临时聊天只是不存历史，请求照样上服务器。Meta这次说推理完全在手机硬件安全飞地内完成，工程师拿不到明文，会话结束数据永久删除。等于把WhatsApp的端到端加密标准直接套在AI对话上，想让你敢聊健康、财务这些敏感话题。

但我会先打个折。正文没披露安全飞地的具体实现——是苹果的Secure Enclave、Android的Trusty TEE，还是Meta自己搞的方案？不同飞地的隔离级别差很多。也没提有没有第三方安全审计，或者白皮书。没有这些，光靠首席AI官一条推文，只能算方向对、落地待验证。

另外，纯本地推理对模型大小和延迟的限制很大。WhatsApp用户遍布中低端机型，如果只能在旗舰机上跑，覆盖范围就有限。还缺一个关键信息：本地推理用的是压缩版模型还是云端模型蒸馏下来的，性能打几折。

5月13日星期三

量子位 · 公众号5/13 18:06

字节提出 GRN，让生图模型像人一样边画边改，不再死磕扩散和自回归

字节跳动的技术团队搞了个叫 GRN（生成式精炼网络）的新架构，想给视觉生成找第三条路，不跟扩散模型和自回归模型硬卷。它的核心思路是让模型先生成一张粗糙的图，再反复精修，就像画师先铺大色块再慢慢抠细节。为了解决反复修图容易把图修糊、错误越攒越多的问题，他们用了三项技术：HBQ（分层二元量化）把图片压成更紧凑的离散编码，减少信息损耗；全局精炼让模型每次修改...

推荐理由：字节这篇 GRN 想走扩散和自回归之外的第三条路，核心卖点是让模型像人画画一样边生成边修改。我会先打个折：130M 参数不算大，gFID 从 3.56 涨到 3.79，画质有小幅下降，但推理步数从 50 步压到平均 24 步，省了将近一半，这个取舍在轻量场景里可能划算。技术上有三个动作：HBQ 解决量化带来的画质损失，全局精炼缓解一步步画下去误差越攒越多的问题，复杂度采样让简单区域少画几步、复杂区域多画几步，不再固定步数。正文没披露在更大模型或更高分辨率上的表现，也没给实际推理延迟的毫秒数，所以现在只能说在小模型上验证了思路。对做图像生成落地、想降...

锐评

字节这个GRN架构想走扩散和自回归之外的第三条路，核心思路不新鲜——先生成粗糙图再反复精修，类似画师的工作流。真正有意思的是他们怎么解决反复修图带来的问题：用HBQ把图片压成更紧凑的离散编码减少信息损耗，全局精炼让模型每次修改都看整张图而不是局部，复杂度自适应采样则让模型自己判断哪些地方需要多修几笔、哪些地方可以少修。在1.3亿参数的小模型上，自适应采样把推理从固定50步压到平均24步，gFID从3.56变到3.79，质量基本没掉。这点先别太激动——模型太小，正文也没说在大规模模型上跑出来的效果，而且微信原文被验证墙挡住了，我只能根据摘要判断。还缺几个关键信息：跟同参数量的扩散模型比到底快多少、省多少算力，以及生成高分辨率图时精修过程会不会崩。

r/LocalLLaMA5/13 16:31

小米把 1 万亿参数的 MiMo-V2.5-Pro 开源了，但自己跑真的划算吗？

小米放出了 MiMo-V2.5-Pro，参数总量 1.02 万亿，但每次推理只激活 420 亿参数，上下文窗口能塞进 100 万个 token，用 MIT 许可证。作者拿它跑了 125 次 Claude Code 任务，走 API 总共花了 70.12 美元，处理了约 3.87 亿个 token，缓存命中率高达 96.3%。这个命中率说明大部分请求其实...

推荐理由：我会先打个折：正文没披露 MiMo-V2.5-Pro 的评测跑分，所以性能好坏只能靠参数规模猜。但这条信息本身够直接——小米把一个 1.02 万亿参数、42B 激活的模型开源，另一边作者用 Claude Code 跑了 125 次会话，3.87 亿 token 花了 70.12 美元，缓存命中率 96.3%。这两组数字摆在一起，自建成本和 API 开销的对比就出来了。对做工程的人，这种一手成本数据比技术报告更有参考价值。

锐评

小米把 MiMo-V2.5-Pro 开源了，参数总量 1.02 万亿，但每次推理只激活 420 亿个参数，上下文窗口能塞进 100 万个 token，用 MIT 许可证。作者拿它跑了 125 次 Claude Code 任务，走 API 总共花了 70.12 美元，处理了约 3.87 亿个 token，缓存命中率高达 96.3%。这个命中率说明大部分请求其实是在重复处理相似内容，API 端靠缓存省了大量计算，但你自己部署时，这些重复计算都得实打实跑在显卡上，成本会高很多。

文章没给出自部署的硬件需求和具体成本估算，也没说这 125 次任务的成功率和效果如何。70 美元跑 3.87 亿 token 听起来不贵，但如果你要自己搭服务器，光显卡钱可能就够买好几年的 API 额度了。这点先别太激动，等有人测出本地部署的真实开销再说。

纽约时报中文网5/13 14:37

黄仁勋没在首批名单上，特朗普看到报道后亲自打电话把他拉上了访华专机

白宫周一公布的16人CEO随行名单里没有黄仁勋，这件事在硅谷和华盛顿都引起了议论。特朗普周二上午直接打电话邀请，黄仁勋当晚在阿拉斯加登上了空军一号。他掌管的英伟达是全球市值最高的公司，过去一年一直在游说中美双方，想拿到向中国卖AI芯片的许可。去年夏天特朗普批准卖上一代芯片，但中国政府至今没批任何采购，美国政府内部也有人以国家安全为由反对卖更先进的芯片。

推荐理由：我会先打个折：正文没披露这次访华有没有谈成什么许可，也没说中方怎么回应，所以别急着下结论说英伟达的芯片就能卖了。但这条消息的看点在于时间线——名单公布后才补邀，说明特朗普团队临时决定把英伟达塞进来，很可能就是冲着 AI 芯片出口管制去的。对从业者来说，这比一份正式声明更有信号意义，因为动作本身就在说“这事还在博弈”。

锐评

这条新闻最值得看的是时间线：白宫周一公布的16人CEO名单里没有黄仁勋，周二上午特朗普看到报道后亲自打电话，当晚黄仁勋就在阿拉斯加登上了空军一号。这说明英伟达在中国市场的处境有多尴尬——全球市值最高的公司，CEO却要靠总统临时起意才能挤进访华代表团。

过去一年黄仁勋一直在两边游说，但成果有限。去年夏天特朗普批准卖上一代芯片给中国，还打算从中抽成，可中国政府至今没批任何采购。同时特朗普自己政府内部也有人以国家安全为由，拦着不让卖更先进的芯片。文章没披露这次访华会不会谈出具体进展，也没说中方对英伟达芯片的态度有没有松动。

这条消息的实质是：英伟达卡在中美之间，两边都不完全买账。黄仁勋上了飞机只是拿到了入场券，离真正做成生意还差得远。

纽约时报中文网5/13 13:37

DeepSeek 新模型首次用华为芯片跑推理，训练还得靠英伟达

DeepSeek 上个月发新模型，头一回说推理环节跑在了华为芯片上，但两位半导体业人士透露，训练阶段仍然依赖英伟达芯片，具体怎么拿到的没细说。华为计划今年出训练芯片，同时承认性能追上英伟达现有水平还要再等一年。这件事让中国在 AI 硬件上跟美国进一步脱钩，也印证了黄仁勋之前的警告：出口管制反而逼着中国自建一套技术栈。不过中芯国际量产华为芯片良率低、功耗...

推荐理由：这篇不是模型发布，也没有跑分，所以分数不会冲太高。但信息量够硬——DeepSeek 推理侧开始用华为芯片，训练侧还离不开英伟达，华为自己的训练芯片今年才出来、性能追平还要一年。我会先打个折：正文没给推理优化的具体性能对比或延迟数据，也没说 DeepSeek 在华为芯片上跑了多大并发。不过它把芯片管制这条线拉得很清楚，对关注算力成本和国产替代的人有直接参考价值，84 分放在 featured 里是合适的。

锐评

这条新闻的核心事实是：DeepSeek上个月发新模型，头一回把推理环节搬到了华为芯片上，但两位半导体业人士透露，训练阶段仍然依赖英伟达芯片，具体怎么拿到的没细说。华为计划今年出训练芯片，同时承认性能追上英伟达现有水平还要再等一年。这件事让中国在 AI 硬件上跟美国进一步脱钩，也印证了黄仁勋之前的警告：出口管制反而逼着中国自建一套技术栈。

不过，正文没披露 DeepSeek 在华为芯片上的推理性能跟英伟达比差多少，也没说成本。中芯国际量产华为芯片良率低、功耗高，华为的应对办法是把一堆性能较弱的芯片捆在一起用，这策略能不能大规模跑通还不清楚。另外，英伟达 H200 虽然获批卖给中国，但实际一台都没运进去，两边都在卡。

还缺什么：DeepSeek 训练用的英伟达芯片到底是从哪条路进来的，华为训练芯片的具体规格和实测数据，以及这套国产方案在真实业务场景下的延迟和稳定性。这些信息没出来之前，说“削弱华盛顿筹码”还太早。

最新精选

5月15日星期五

5月14日星期四

5月13日星期三