跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

609 条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 321–340 条 · 共 609 条

5月22日星期五

AI HOT 精选

智谱发布 GLM-5.1 高速版,API 输出冲到每秒 400 个 token

智谱在 5 月 22 日给部分企业客户开放了 GLM-5.1-highspeed 接口,输出速度标称 400 tokens/s,说是目前大模型厂商里最快的。过去跑得快的模型通常能力会打折,这次智谱声称把旗舰模型的能力和低延迟同时塞进了生产环境。提速主要靠 GLM 团队和 TileRT 团队在三个层面做的系统优化:推理引擎重写了核心路径来提升单卡吞吐。

推荐理由:智谱向部分企业客户开放 GLM-5.1 高速版接口,标称输出速度达每秒 400 个 token,其提速来自推理引擎核心路径重写等系统优化,可用于观察旗舰模型能力与低延迟在生产环境中的取舍。

纽约时报中文网

特朗普松口卖芯片,北京反而拦着不让买

特朗普半年前批准英伟达向中国卖 H200 芯片,但北京至今没让任何一家公司下单,反而把企业往华为、寒武纪等国产替代上推。文章说这背后是中美技术脱钩的深度不信任:中国想借机逼本土芯片产业提速,企业则抱怨算力不够是最大瓶颈。

推荐理由:特朗普批准英伟达对华销售 H200 芯片半年后,北京仍未放行任何企业下单,并引导算力需求转向华为、寒武纪等国产方案,这条呈现了政策松动与采购停滞并存的局面。

Computing Life · Share · 鸭哥调研

DS4 引擎让 DeepSeek V4 Flash 在 Mac 上跑起来了,还解决了 agent 对话的“失忆”问题

DeepSeek V4 Flash 是个 284B 总参数、13B 激活的 MoE 模型,性能接近前沿水平,但主流推理引擎在 Mac 上都跑不了。antirez 专门为它写了 DS4 引擎,纯 C、Metal 优先,一个编译命令就能用。

推荐理由:antirez 为 284B 总参数、13B 激活的 DeepSeek V4 Flash 写了纯 C、Metal 优先的 DS4 推理引擎,补上主流引擎在 Mac 上跑不了的空缺。

Computing Life · Share · 鸭哥调研

智谱 GLM-5.1 API 跑到每秒 400 个 token,靠的不是优化,是换了一套执行逻辑

智谱在 5 月 22 日放出了 GLM-5.1 高速版 API,输出速度标称 400 tokens/s,是人类阅读速度的 80 倍以上。这个速度不是靠传统编译优化“调”出来的,而是底层的 TileRT 推理引擎把 GPU 的工作模式从“批处理车间”改成了“连续流水线”——取消计算步骤之间的等待和隔离,让数据持续流动,GPU 不再频繁启停。

推荐理由:智谱发布 GLM-5.1 高速版 API,输出速度标称 400 tokens/s,其 TileRT 推理引擎把 GPU 从批处理改为连续流水线执行,取消计算步骤间的等待与隔离。

r/LocalLLaMA

这篇论文主张:输入处理用低精度加速,输出生成用高精度保质量

论文 arXiv 2605.20315 提出一个混合精度策略:在预填充阶段用 W4A4 量化,理论上能把输入处理速度提升 4 倍;但解码阶段仍用原始高精度,因为激活值的量化误差会扰动采样出的 token,并在自回归生成中逐步累积,导致输出质量下降。

推荐理由:论文提出预填充阶段用 W4A4 量化、解码阶段保留高精度,理论上输入处理可提速 4 倍,同时避免激活量化误差在自回归生成中累积影响输出质量。

NVIDIA 博客

NVIDIA 在 COMPUTEX 2026 拿了四个奖,Vera Rubin NVL72 号称推理能效比上代高 10 倍

NVIDIA 在 COMPUTEX 2026 上靠 Vera Rubin NVL72、Jetson Thor 和 Alpamayo 拿了四个 Best Choice 奖。

推荐理由:NVIDIA 在 COMPUTEX 2026 凭 Vera Rubin NVL72、Jetson Thor 和 Alpamayo 拿下四个 Best Choice 奖,其中 NVL72 给出的推理能效数字比上代高 10 倍。

5月21日星期四

r/LocalLLaMA

Fireworks 提出“Agent 执行税”:浏览器智能体跑任务时,22.9% 的推理算力都浪费了

Fireworks 在 WebVoyager 上跑了 720 个浏览器智能体任务,发现平均有 22.9% 的推理调用属于无效消耗,他们管这个叫“Agent 执行税”——也就是为了完成任务,模型多做的无用功。具体到各家模型:MiniMax M2.5 每成功完成一个任务的成本比 Gemini 低了 2.3 倍;GLM-5 的任务成功率做到 57.1%。

推荐理由:Fireworks 在 WebVoyager 上跑了 720 个浏览器智能体任务,测得平均 22.9% 的推理调用属于无效消耗,并据此提出衡量选型隐性成本的 Agent 执行税指标。

r/LocalLLaMA

LLM 硬件规划器:按你的用途、模型或预算挑一套跑本地模型的机器,或者给现有机子选模型

totosse17 做了一个叫 LLMRequirements 的硬件规划工具,整理了 60 多套装机方案、50 多个模型,还附了 130 多个有来源标注的每秒 token 生成速度、150 多个评测视频。它会标每套配置的待机功耗和满载功耗,价格覆盖多个地区,数据放在 GitHub 上公开更新。

推荐理由:作者 totosse17 把 60 多套本地模型装机方案与 50 多个模型的实测生成速度、待机满载功耗和多地区价格整理成公开数据集,方便按用途或预算直接比对。

The Verge · AI

SpaceX IPO 文件曝光:Anthropic 每月花 12.5 亿美元租用马斯克的数据中心,一年就是 150 亿

SpaceX 在 S-1 上市申请里写明了这笔交易的价码:Anthropic 每月要付 12.5 亿美元,一直付到 2029 年 5 月,用来使用位于孟菲斯的 Colossus I 和 Colossus II 两座 AI 训练中心。一年算下来就是 150 亿美元,这个数字快赶上 SpaceX 2025 年全年 187 亿美元收入的两倍了。

推荐理由:Anthropic 每月向 SpaceX 支付 12.5 亿美元租用孟菲斯两座 AI 训练中心,合同持续到 2029 年 5 月,年化金额接近 SpaceX 2025 年收入的两倍。

r/LocalLLaMA

腾讯发布 Hy-MT2 翻译模型,覆盖 33 种语言,最小 1.8B 版压缩后仅 440MB

腾讯放出了 Hy-MT2 系列翻译模型,有 1.8B、7B 和 30B-A3B 三个尺寸,支持 33 种语言互译。1.8B 小模型用上 AngelSlim 1.25-bit 量化后,存储占用压到 440MB,推理速度还快了 1.5 倍,适合本地跑。不过 Reddit 原帖被屏蔽了,正文没披露具体翻译质量评测和更多技术细节,这点先别太激动。

推荐理由:腾讯发布 Hy-MT2 系列翻译模型,含 1.8B、7B、30B-A3B 三个尺寸并支持 33 种语言互译,其中 1.8B 版经量化后存储占用降至 440MB。

AI HOT 精选

腾讯开源 Hy-MT2 翻译模型,1.8B 小版量化后 440MB 就能在手机上跑,性能还超了微软商业 API

腾讯放出了 Hy-MT2 多语言翻译模型,支持 33 种语言互译。7B 和 30B-A3B 两个版本在开源模型里翻译质量最好,比很多参数大几十倍的模型还强。更实用的是 1.8B 轻量版,用 AngelSlim 1.25-bit 量化技术把体积压到 440MB,主流手机芯片就能本地跑,推理速度比上一代快 1.5 倍。

推荐理由:腾讯开源 Hy-MT2 翻译模型,1.8B 轻量版经 1.25-bit 量化后仅 440MB,可在主流手机芯片本地运行 33 种语言互译,为端侧离线翻译提供了可落地的体积方案。

Latent Space

OpenAI 用通用推理模型花不到 1000 美元,推翻了一个 80 年前的数学猜想

OpenAI 公布了一个内部通用推理模型(外界猜是 GPT 5.6)的成果:它找到了平面单位距离问题的新构造族,推翻了 1946 年 Erdős 提出的一个猜想。这个模型不是专门为数学训练的,就是普通的语言模型,但推理过程生成了约 125 页的总结。有外部观察者推测,这次运行只用了不到 32 小时,成本不到 1000 美元。

推荐理由:OpenAI 一个通用推理模型推翻了 1946 年 Erdős 提出的平面单位距离猜想,其推理过程生成约 125 页总结,外部观察者推测运行不到 32 小时、成本不到 1000 美元。

机器之心 · 公众号

VAST 和清华搞了个新方法,让 3D 生成把算力花在刀刃上,高斯点数量砍半画质还能打

这篇论文正文被微信环境验证挡住了,看不到具体技术细节。从标题和已知信息看,他们提出了一种叫 DeG 的 3D 生成方法,核心思路是让模型自己学会在物体细节丰富的地方多放高斯点、在平坦区域少放点,而不是均匀撒点。这样能用不到一半的高斯点数量,达到跟 TRELLIS 差不多的画面质量。

推荐理由:VAST 与清华提出 DeG 方法,让模型按物体细节密度分配高斯点,用不到一半的点数达到 TRELLIS 相近画质。

机器之心 · 公众号

智谱在千卡集群部署 ZCube,同样 GPU 推理吞吐提升超 15%

智谱把自研的 ZCube 通信方案用到了 GLM-5.1 的线上推理集群里,规模是千卡级别。它替换了原来的 ROFT 组网方式,但没动 GPU、软件栈和业务代码。效果上,吞吐量提升了超过 15%,首 token 延迟的 P99 下降了 40.6%,交换机加光模块的成本省了三分之一。

推荐理由:智谱在 GLM-5.1 千卡推理集群用自研 ZCube 替换原有组网,不动 GPU 和业务代码,吞吐提升超 15%,首 token 延迟 P99 降 40.6%。

彭博科技

Anthropic 要在三年内付给 SpaceX 近 450 亿美元,买算力跑 Claude

根据一份证券文件,Anthropic 跟马斯克的 SpaceX 签了份大单:未来三年支付差不多 450 亿美元,换取计算资源来支撑它的 Claude 模型。这笔钱摊下来每年约 150 亿美元,说明头部 AI 公司抢算力的成本已经拉到天文数字级别。不过正文被 Bloomberg 的机器人验证挡住了,具体是租 GPU 还是包数据中心、交付节奏和退出条款都没披露。

推荐理由:Anthropic 与 SpaceX 签下三年约 450 亿美元算力协议,年均约 150 亿美元,头部 AI 公司争夺算力的成本量级由此有了具体参照。

TechCrunch · AI

Anthropic 每月要付给 xAI 12.5 亿美元买算力

Anthropic 租下了 xAI 在孟菲斯 Colossus 1 数据中心的全部算力,每月账单 12.5 亿美元,合同签到 2029 年 5 月。头两个月有折扣,因为 xAI 那边还在爬坡。这笔钱来自 SpaceX 的上市文件,xAI 自己说这是在把闲置算力变现。说白了,Grok 用户量最近掉得厉害,服务器空出来了,正好租给竞争对手回血。

推荐理由:Anthropic 租下 xAI 孟菲斯 Colossus 1 数据中心的全部算力,月付 12.5 亿美元、合同签到 2029 年 5 月,这笔交易来自 SpaceX 上市文件,xAI 借此把闲置算力变现。

r/LocalLLaMA

Cohere 联合创始人亲自回应:Command A+ 是他们第一个 MoE 开源模型,主打在 1-2 张 GPU 上跑得动

Cohere 的 Nick Frosst 在 Reddit 上发帖,正式推出了 Command A+。这是他们第一个混合专家(MoE)模型,用 Apache 2.0 协议开源。帖子里说,这个模型最大的卖点是效率,做了很极限的量化工作,在 1 到 2 张消费级 GPU 上就能跑得很流畅,对个人开发者和小团队比较友好。

推荐理由:Cohere 联合创始人 Nick Frosst 在 Reddit 发布 Command A+,这是该公司采用 Apache 2.0 协议开源的混合专家模型,量化后在 1 到 2 张消费级 GPU 上即可运行。

彭博科技

英伟达上季度每股赚 1.87 美元,超预期,下季度营收指引 910 亿

英伟达刚发了 2026 财年第一季度的财报,每股收益 1.87 美元,比华尔街预期的 1.77 美元高出一截。公司对截至 7 月的当季营收指引是 910 亿美元,也明显高于市场预估的 874 亿左右。这条视频本身是彭博的报道片段,正文没披露各业务线的具体表现和毛利率细节,所以没法判断增长是数据中心业务继续拉动的,还是有别的板块在补位。

推荐理由:英伟达一季度每股收益1.87美元,高于华尔街预期的1.77美元,下季度营收指引910亿美元也高于市场预估的874亿,是观察AI基础设施需求的一手数据。

AI HOT 精选

英伟达一季度净利润 583 亿美元,同比涨了 211%,数据中心收入占了大头

英伟达 2027 财年第一财季(截止到 2026 年 4 月 26 日)总收入 816.15 亿美元,净利润 583.21 亿美元,同比直接翻了两倍多。增长主要靠数据中心业务,单这一块就进账 752 亿美元,同比涨了 92%。毛利率也拉到了 75% 左右,比去年同期高了 14 个百分点。公司预计下个季度收入能到 910 亿美元,上下浮动 2%。

推荐理由:英伟达2027财年第一财季净利润583.21亿美元,同比增长211%,数据中心业务收入752亿美元,占总收入九成以上,毛利率升至75%左右。

AI HOT 精选

Meta裁掉8000人,再把7000人转去做AI

Meta这次不是单纯砍成本,而是把人力往AI方向挪。计划裁掉约8000个岗位,同时把约7000名员工调到AI相关职位,资源集中砸在AI基础设施、基础模型开发和商业化上,想打通从模型训练、产品落地到赚钱的整条链路。

推荐理由:Meta计划裁撤约8000个岗位,同时把约7000名员工转到AI相关职位,资源集中投向AI基础设施、基础模型与商业化。