跳到正文

#部署/工程

今日 11 条

5月27日星期三

机器之心 · 公众号

AMD 论文发现 FP4 训练不稳,锅不在随机性不够

AMD 和宾州州立大学用 MI355X 原生 FP4 硬件预训练了 Llama 3.1-8B,端到端速度比 FP8 基线快了 9-10%。但论文指出,Wgrad(权重梯度)量化是拖后腿的环节,导致每个 token 的计算开销额外增加 26-27%,而且用确定性 Hadamard 方法也稳不住。正文没披露最终模型的验证集效果对比,这点先别太激动。

推荐理由:AMD 与宾州州立大学在 MI355X 上用原生 FP4 预训练 Llama 3.1-8B,端到端比 FP8 基线快 9-10%,但权重梯度量化让每 token 开销多出 26-27%。

Latent Space

AI 推理基础设施又出百亿美金独角兽:Fireworks 估值 150 亿,Baseten 估值 110 亿,OpenRouter 融了 1.13 亿

这周 AI 圈的钱主要涌向了推理层。Fireworks 正在谈一轮估值 150 亿美元的融资,7 个月内估值涨了 3.75 倍;Baseten 也在以 110 亿美元估值募资,3 个月翻 2.2 倍。这两家都还没正式官宣,数字先别太当真。

推荐理由:Fireworks 与 Baseten 分别以 150 亿和 110 亿美元估值洽谈融资,7 个月和 3 个月内的估值涨幅,勾勒出资本向推理层集中的速度。

AI HOT 精选

高通要给字节跳动做定制 AI 芯片,订单量在百万颗级别

彭博社的消息人士说,高通和字节跳动签了一份 AI ASIC 合作协议。ASIC 就是按特定需求定制的芯片,不像 GPU 那样通用,但干专一的活更省电、效率更高。字节跳动会向高通采购数百万颗这种定制芯片,用来跑自己的 AI 服务。另一个消息源提到,这笔交易能帮字节跳动把内部已经设计好的芯片方案,变成真正可以量产的半导体。

推荐理由:高通与字节跳动签署AI ASIC定制芯片协议,采购量达数百万颗,用于运行字节的AI服务。这笔交易涉及定制芯片从内部方案走向量产,是观察大厂自研算力路径的一个具体案例。

彭博科技

Fireworks AI 正谈新一轮融资,估值冲到 150 亿美元

彭博社援引知情人士消息,Fireworks AI 正在谈一笔新融资,投后估值可能达到 150 亿美元。这家公司主要做模型推理和微调服务,帮企业跑开源模型时更快、更省钱。不过正文没披露这轮具体要融多少钱、哪些投资方在谈,也没给时间表。150 亿这个数字放在当前 AI 基础设施赛道里算很高了,但先别太激动——谈判还在进行,条款可能变,最后能不能落定还不一定。

推荐理由:Fireworks AI 正洽谈新一轮融资,投后估值或达 150 亿美元,其模型推理与微调服务面向企业运行开源模型,这一估值可放在当前 AI 基础设施赛道中作横向比较。

AI HOT 精选

TRL 新增增量权重同步:只传模型变化的部分,每步传输量从 1.2GB 降到 20-35MB

异步强化学习训练有个很现实的问题:每一步训练器都得把整个模型发给推理引擎。一个 7B 模型用 bf16 格式就要传 14GB,换成万亿参数模型更是要传 TB 级别的数据。Hugging Face 团队发现,在两次优化步骤之间,大约 99% 的 bf16 权重其实完全没变,真正变动的部分很小。

推荐理由:Hugging Face 在 TRL 中实现增量权重同步,只传两次优化间变动的权重,Qwen3-0.6B 单步载荷从 1.2GB 降至 20 至 35MB,为分布式训练的通信开销提供了一种压缩思路。

AI HOT 精选

小米 MiMo 2.5 Pro 永久降价,最高砍掉 99%,跟 DeepSeek V4 Pro 一个价

小米把 MiMo-V2.5 系列的 API 价格永久打下来了,最高降了 99%,现在和 DeepSeek V4 Pro 定价持平。花同样的钱,能用的 token 数多了 5 到 8 倍,计费方式也变简单了。老用户之前买的套餐额度会全部重置补满。降价的原因是他们在推理环节做了全栈优化,省下来的成本直接让出来了,具体技术细节后面会发博客。

推荐理由:小米将 MiMo-V2.5 系列 API 价格永久下调,最高降幅 99%,与 DeepSeek V4 Pro 持平,同价下可用 token 数增至 5 到 8 倍。

r/LocalLLaMA

PrismML 放出二值/三值 Bonsai Image 4B:1-bit 文生图扩散模型,浏览器里就能跑

PrismML 发布了 Bonsai Image 4B 的二值和三值版本,把文生图扩散 Transformer 的权重压到 1-bit 或三值,模型体积约 3GB。作为对比,FLUX.2 Klein 4B 大概要 16GB。Reddit 帖子里给了浏览器端 WebGPU 本地运行的 demo 链接,模型用 Apache-2.0 协议开源。

推荐理由:PrismML 将 Bonsai Image 4B 的文生图扩散 Transformer 权重压到 1-bit 或三值,模型约 3GB,而 FLUX.2 Klein 4B 约 16GB,并支持在浏览器 WebGPU 本地运行。

5月26日星期二

彭博科技

高通要给字节跳动供 AI 数据中心芯片,但具体型号和规模都没说

彭博援引知情人士消息称,高通将向字节跳动供应芯片,用于后者的 AI 数据中心。报道正文被付费墙挡住,没披露芯片型号、订单量、单价和交付时间。我会先打个折:这消息目前只有方向,没有可验证的细节,别急着判断这对字节的算力储备有多大影响。

推荐理由:彭博社消息称高通将向字节跳动供应 AI 数据中心芯片,但芯片型号、订单规模和交付时间均未披露,目前只能确认双方合作方向。

r/LocalLLaMA

dlmserve 开源:首个为扩散语言模型设计的推理引擎,支持 LLaDA-8B,吞吐量是 HuggingFace 的 2.5 倍

Reddit 上有人放出了一个叫 dlmserve 的开源项目,MIT 协议,专门给扩散语言模型做推理服务。它第一个支持的模型是 LLaDA-8B-Instruct,这种模型生成文本的方式和常见的自回归模型不一样,是一步步“去噪”出完整回答。引擎对外提供兼容 OpenAI 的 /v1/chat/completions 接口,方便直接替换。

推荐理由:Reddit 用户开源了 dlmserve,为扩散语言模型提供兼容 OpenAI 接口的推理服务,并给出 LLaDA-8B 在 batch=4 下吞吐量达 HuggingFace 2.5 倍的数据。

AI HOT 精选

OpenRouter 拿到 1.13 亿美元 B 轮,周 token 处理量半年翻了五倍

OpenRouter 宣布完成 1.13 亿美元 B 轮融资,由 CapitalG 领投。公司同时给出一个业务数据:过去 6 个月,平台每周处理的 token 量从 5 万亿涨到 25 万亿,翻了五倍。这个数字说明接入 OpenRouter 做模型调用的生产流量在快速变大。正文没披露估值、具体估值逻辑和资金用途,也没提盈利情况。

推荐理由:OpenRouter 完成 1.13 亿美元 B 轮融资,由 CapitalG 领投,其周 token 处理量半年从 5 万亿增至 25 万亿,模型路由层承载的生产流量规模由此有了具体参照。

阿里技术 · 公众号

南大和阿里发现 DiT 里的残差流拖慢收敛,改用跨层路由后训练快了近 9 倍

南京大学 LAMDA 组和阿里智能引擎团队提出了一种叫 DAR 的方法,把 DiT 模型里固定的残差累积,换成了按时间步动态选择路径的跨层路由。在 ImageNet 256×256 上拿 SiT-XL/2 试,FID 从 9.67 降到了 7.56,而且只用原来大约九分之一的训练步数就达到了同等收敛质量。

推荐理由:南大 LAMDA 与阿里团队把 DiT 固定的残差累积换成按时间步动态选路的跨层路由,在 ImageNet 上以约九分之一训练步数达到同等收敛质量。

量子位 · 公众号

面壁智能发布 ForgeTrain 和 MiniCPM5-1B,声称训练框架由 AI 自己编写,训练速度比英伟达 Megatron 快 10%

面壁智能放出了 ForgeTrain 训练框架和 MiniCPM5-1B 模型。ForgeTrain 最抓眼球的地方是,他们说是让 AI 自己写的代码,在同样硬件下比英伟达的 Megatron 训练快 10%。MiniCPM5-1B 是个 10 亿参数的小模型,FP16 权重约 2GB,压缩到 INT4/Q4 后约 0.5GB,主打端侧部署。

推荐理由:面壁智能发布由 AI 编写代码的 ForgeTrain 训练框架,称同硬件下训练速度比英伟达 Megatron 快 10%,并同步推出可压缩至约 0.5GB 的端侧模型 MiniCPM5-1B。

机器之心 · 公众号

面壁开源 MiniCPM5-1B 和训练框架 ForgeTrain,框架代码是 AI 自己写的,1B 模型跑分 17.9

面壁智能放出了两个东西:一个叫 MiniCPM5-1B 的端侧小模型,和一个叫 ForgeTrain 的训练框架。1B 模型在 AA-Index 上拿了 17.9 分,这个分数说明小体量也能有不错的综合能力。

推荐理由:面壁智能开源了端侧模型 MiniCPM5-1B 和训练框架 ForgeTrain,后者的代码由 AI 自己编写,1B 模型在 AA-Index 上取得 17.9 分。

AI HOT 精选

面壁智能开源 MiniCPM5-1B,1B 参数在 AA-Index 上跑赢所有 2B 以下模型,量化后 0.5GB 能塞进手机和浏览器

面壁智能联合清华和 OpenBMB 开源了一个 1B 参数的小模型 MiniCPM5-1B。它在 AA-Index(一个综合评测榜单)上的得分超过了所有参数不到 2B 的模型,甚至比 3 个月前发布的 Qwen3.5-2B 效果还好,参数量却只有后者的一半。这个模型用 INT4 量化后权重文件只有 0.5GB,可以直接在手机和浏览器里跑。

推荐理由:面壁智能联合清华和 OpenBMB 开源 1B 参数模型 MiniCPM5-1B,AA-Index 得分超过所有 2B 以下模型,INT4 量化后仅 0.5GB,可在手机和浏览器运行。

新智元 · 公众号

OpenAI 总裁回忆:奥特曼被罢免当天我就辞职了,起初觉得夺回公司只有一成胜算

Greg Brockman 在采访里复盘了 OpenAI 那场 72 小时宫斗。2023 年 11 月 17 号,董事会突然撤掉 Sam Altman 的 CEO 职位,同时把 Brockman 踢出董事会。他当天就辞职了,说当时估算把公司拿回来的概率只有 10%。

推荐理由:OpenAI 总裁 Greg Brockman 复盘 2023 年 11 月奥特曼被罢免的 72 小时,他当天辞职并估算夺回公司概率仅一成,提供了当事人视角的决策背景。

r/LocalLLaMA

Shard:把 KV 缓存压到原来的十分之一,长上下文推理更省显存

Shard 这套方法能在 Llama-3.1-8B 上把 KV 缓存占的显存砍掉约 90%。具体来说,8K 上下文长度时压缩比约 10 倍,拉到 32K 时能到 11 倍。技术路线分两路:对 Key 矩阵先用 PCA 降维再做 int4 量化,对 Value 矩阵则用 Hadamard 旋转配合向量量化。

推荐理由:Shard 在 Llama-3.1-8B 上把 KV 缓存显存压缩约九成,8K 上下文约 10 倍、32K 约 11 倍,Key 走 PCA 加 int4 量化、Value 走 Hadamard 旋转加向量量化。

AI HOT 精选

OpenAI 被曝下月发 GPT-5.6,上下文窗口拉到 150 万 token

开发者在 OpenAI Codex 的后台日志里挖出了一个叫 iris-alpha 的未公开模型,对应 GPT-5.6,可能 6 月发布。最直观的变化是上下文窗口涨到 150 万 token,比现在 GPT-5.5 API 的 105 万多出约 43%。

推荐理由:开发者从 OpenAI Codex 后台日志挖出未公开模型 iris-alpha,对应 GPT-5.6,其上下文窗口达 150 万 token,比 GPT-5.5 API 的 105 万高出约 43%。

AI HOT 精选

苹果被曝用定制版 1.2 万亿参数谷歌模型改造 Siri,简单问题仍跑本地

爆料说苹果下一代 Siri 的核心换成了一个定制的谷歌大模型,参数规模 1.2 万亿,比大家猜的 Gemini 3.5 Flash(约 3000 亿参数)大好几倍。复杂任务会交给这个大模型,简单查询还是留在手机上跑。苹果现在最头疼的是日常问题的响应速度,大模型再聪明,回慢了也没人用。

推荐理由:苹果下一代 Siri 被曝采用定制谷歌大模型,1.2 万亿参数远超外界猜测的约 3000 亿,复杂任务走云端、简单查询留在本地,这一分工是理解其架构的关键。

5月25日星期一

r/LocalLLaMA

RTPurbo:用几百步训练把全注意力模型转成稀疏推理,长上下文预填充快 9.36 倍

这篇论文提出 RTPurbo,能把原本用全注意力的模型改成稀疏注意力来跑推理,而且只需要几百步训练。做法是只给“检索头”保留完整的 KV 缓存,其他头用一个 16 维的 token 索引器来近似,相当于大幅压缩了要存要算的内容。在 100 万 token 的长上下文场景下,预填充阶段最高快了 9.36 倍,解码阶段快了约 2.01 倍。

推荐理由:RTPurbo 把全注意力模型改成稀疏推理,只给检索头保留完整 KV 缓存,其余头用 16 维索引器近似,几百步训练即可完成,在 100 万 token 场景下预填充最高快 9.36 倍。

量子位 · 公众号

Reasonix 给 DeepSeek V4 加了个缓存层,长代码任务里缓存命中率 99.82%,成本打到两折

正文页面被微信环境验证挡住了,看不到具体技术细节。从标题和摘要看,Reasonix 这个工具用了一种“只追加不修改”的循环机制来给 DeepSeek V4 做缓存。在长代码会话场景里,缓存命中率报到了 99.82%,相当于模型每次生成新内容时,前面绝大部分上下文都不用重复计算。

推荐理由:Reasonix 用只追加不修改的循环机制为 DeepSeek V4 做缓存,长代码会话中缓存命中率达 99.82%,成本降至两折。

Hacker News 首页

AI 芯片成本结构变了:内存开销已占到近三分之二

Epoch AI 估算,从 2024 年第一季度到 2025 年第四季度,高带宽内存(HBM)在 AI 芯片物料成本里的占比从 52% 涨到了 63%。这个数字是拿英伟达、AMD、谷歌和亚马逊四家的 AI 芯片按出货量加权平均算出来的。同期逻辑芯片的成本占比基本没动,在 13% 左右。

推荐理由:Epoch AI 估算,2024 年第一季度到 2025 年第四季度,高带宽内存占 AI 芯片物料成本的比例从 52% 升至 63%,同期逻辑芯片稳定在 13% 左右。

5月24日星期日

r/LocalLLaMA

OpenBMB 在华为昇腾 NPU 上把大模型从头训成 1.58-bit,8B 模型性能保住全精度 97%

OpenBMB 放出了 BitCPM-CANN,一个在华为昇腾 NPU 上原生跑通的 1.58-bit(三值)大模型训练方案。他们用和 MiniCPM4 一样的架构与数据,从零训了 0.5B、1B、3B、8B 四个尺寸。

推荐理由:OpenBMB 在华为昇腾 NPU 上从零训练了 0.5B 到 8B 四个 1.58-bit 三值模型,8B 性能保留全精度的 97%,训练阶段即完成极低比特压缩。

r/LocalLLaMA

KV 缓存量化对模型伤害不大,权重量化才是大头:Qwen3.6 27B 的一次小测试

Reddit 用户 hopbel 拿 Qwen3.6 27B 在 wikitext-2 上跑了一组 16k 上下文的近似 KLD 测试,想看看 KV 缓存量化和模型权重量化哪个更影响输出质量。他用 Q5_K_M 权重当基准,对比了两组配置:一组是 Q5_K_S 权重配 q4_0 的 KV 缓存,KLD 分数 0.016304。

推荐理由:Reddit 用户 hopbel 用 Qwen3.6 27B 在 wikitext-2 上做 16k 上下文近似 KLD 测试,对比 KV 缓存量化与权重量化对输出质量的影响,为本地部署的量化取舍提供一组一手数据。

5月23日星期六

机器之心 · 公众号

FlashAR 用 0.05% 的训练数据,把自回归图像模型的生成速度提了 22.9 倍

浙大和阿德莱德大学搞了个 FlashAR,专门给预训练好的自回归图像模型加速。拿 Emu3.5-Image-34B 试了一下,生成一张 512×512 的图,原来要 130.10 秒,现在只要 5.68 秒,快了 22.9 倍。而且只用了原始训练数据量的 0.05% 做微调,GenEval 分数从 80.48 变成 80.29,画质基本没掉。

推荐理由:浙大与阿德莱德大学提出 FlashAR,仅用原始训练数据 0.05% 微调,就把 Emu3.5-Image-34B 生成 512×512 图像从 130.10 秒压缩到 5.68 秒。

机器之心 · 公众号

Bengio 团队新论文:用多条并行思路链做递归推理,效果比单条串行推理好

这篇论文提出了 GRAM,一个会生成多条内部推理轨迹、再从中挑出最优解的递归模型。在极难数独测试上,GRAM 用 16 步递归、同时跑 20 条并行思路,准确率达到 97.0%;作为对比,传统串行递归模型 TRM 要跑到 320 步才做到 90.5%。简单说,就是让模型多想几条路再选,比闷头一条路走到黑更靠谱,而且推理步数还少得多。

推荐理由:Bengio 团队提出 GRAM,让模型并行生成多条推理轨迹再选最优解,在极难数独上用 16 步递归达到 97.0% 准确率,而串行模型需 320 步才到 90.5%。

Mistral AI

Mistral 收购 Physics AI 公司 Emmi AI

Mistral AI 宣布已达成收购 Physics AI 先驱 Emmi AI 的最终协议,以强化其作为工业企业 AI 转型伙伴的定位。Emmi AI 成立于奥地利,专注物理 AI 与大型工程模型,可加速工程工作流、以实时仿真替代多日计算并构建数字孪生。Emmi 的联合创始人及 30 多名研究人员和工程师将于 5 月加入 Mistral 的 Science 与 Applied AI 团队。

推荐理由:Mistral 收购奥地利物理 AI 公司 Emmi AI,30 多名研究人员将于 5 月加入其科学与应用 AI 团队,补强工业仿真与数字孪生能力。

量子位 · 公众号

DeepSeek V4 继续打价格战,缓存输入每百万 token 只要两分五;宁德时代、京东、网易在谈投资,梁文锋说目标是通用人工智能

DeepSeek-V4-Pro 的 API 从 6 月 1 日起维持促销价,缓存输入每百万 token 收 0.025 元人民币,这个价格在同类模型里算很低了。彭博社的消息说 DeepSeek 正在谈一轮 700 亿人民币的融资,投前估值 450 亿美元,宁德时代、京东、网易都有意参与。创始人梁文锋对外表态,公司的目标还是通用人工智能(AGI)。

推荐理由:DeepSeek-V4-Pro 的 API 从 6 月 1 日起维持促销价,缓存输入每百万 token 收 0.025 元,同时彭博社称其正洽谈 700 亿人民币融资,投前估值 450 亿美元。

r/LocalLLaMA

club-rdna16:一个在 16GB AMD 显卡上实测本地大模型的仓库

这个仓库用一张 RX 6900 XT(16GB 显存)跑 llama.cpp,后端是 ROCm/HIP,专门验证 AMD 卡在本地跑大模型的实际表现。目前放出的一个亮点是 Qwen3.6 35B-A3B 这个 MoE 模型,用 q8 格式缓存 KV 状态,能稳定撑到 131k 上下文窗口。

推荐理由:作者公开了在 RX 6900 XT 上跑 llama.cpp 的测试仓库,其中 Qwen3.6 35B-A3B 以 q8 缓存 KV 状态可稳定撑到 131k 上下文,为 16GB AMD 显卡的本地部署留下一份实测配置参考。

AI HOT 精选

黄仁勋说 AI 基建年开支会冲到 4 万亿美元,比华尔街共识高了四倍

黄仁勋在英伟达财报电话会上抛出一个数字:超大规模云厂商的 AI 基建年开支会从现在的 1 万亿美元涨到 3 到 4 万亿,CFO 给的时间线是 2030 年前。华尔街分析师原本的共识是 2028 年才到 1.03 万亿,老黄直接翻了四倍。

推荐理由:黄仁勋在英伟达财报电话会上把超大规模云厂商的 AI 基建年开支预测推到 3 到 4 万亿美元,而华尔街共识是 2028 年才到 1.03 万亿,两者相差约四倍。

AI HOT 精选

智能体工作负载正在改写推理成本账本

SemiAnalysis 扒了 43.2 万条真实编码智能体的请求记录,输入 token 的中位数不是大家常说的 3.2 万或 6.4 万,而是 9.6 万。这个量级意味着模型在接到你的问题之前,已经吞下了比《了不起的盖茨比》全书还长的上下文。正文没披露用了哪些模型、成本曲线、采样方式和统计时间窗口,所以这个数字先当个参考,别急着拿它算账。

推荐理由:SemiAnalysis 统计了 43.2 万条真实编码智能体请求,得出输入 token 中位数为 9.6 万,比常被引用的 3.2 万或 6.4 万高出一截,为讨论智能体推理成本提供了实测参照。

r/LocalLLaMA

llama.cpp 新分支让 MoE 模型在 12GB 显存上跑得更快,RTX 2060 上速度从 19/22 tk/s 提到 26 tk/s

comanderxv 给 llama.cpp 开了个叫“experts first”的分支,专门优化混合专家模型(MoE)的显存调度。

推荐理由:comanderxv 为 llama.cpp 新开 experts first 分支,优化 MoE 模型的显存调度,使 12GB 显存的老卡在 RTX 2060 上从 19/22 tk/s 提升到 26 tk/s。

5月22日星期五

Hacker News 首页

DeepSeek 把 V4 Pro 的 75 折促销变成永久降价了

DeepSeek 在定价页更新了一条脚注:V4 Pro 模型现在的 75 折优惠在 2026 年 5 月 31 日结束后,会直接变成正式价格,也就是原价的四分之一。具体来说,输入 token(没命中缓存)从每百万 1.74 美元降到 0.435 美元,输出 token 从 3.48 美元降到 0.87 美元。

推荐理由:DeepSeek 将 V4 Pro 的 75 折促销转为正式价,输入与输出 token 单价分别降至每百万 0.435 美元和 0.87 美元,开发者可据此核算调用成本。

Dwarkesh Patel 播客

从逻辑门到 AI 芯片:Reiner Pope 的芯片设计黑板课

MatX 的 CEO Reiner Pope 从最底层的与、或、非逻辑门讲起,一步步拆解 AI 芯片到底怎么工作。他先用一个 4 比特乘 4 比特、再用 8 比特累加的例子,演示了乘法累加(MAC)运算在电路里长什么样——这其实就是矩阵乘法的基本动作,AI 芯片绝大部分时间都在干这个。

推荐理由:MatX 的 CEO Reiner Pope 从与、或、非逻辑门讲起,用 4 比特乘 4 比特和 8 比特累加的例子演示乘法累加在电路中的形态,这是理解 AI 芯片矩阵乘法运算的基础。

Mistral AI

Mistral 在 Studio 发布 Connectors,支持内置与自定义 MCP

Mistral 在 Studio 发布 Connectors,所有内置连接器和自定义 MCP 现可通过 API/SDK 用于全部模型与智能体调用。新功能包括直接工具调用、human-in-the-loop 审批流程,以及对连接器的创建、修改、列出和删除等编程访问。

推荐理由:Mistral 把内置连接器和自定义 MCP 统一注册进 Studio,并给出创建、调用与人工审批的代码示例,展示企业集成层如何从各团队重复实现转为平台内一次配置。

AI HOT 精选

首个在华为昇腾910B上全栈训练的1.58比特开源模型BitCPM-CANN发布

ModelBest、清华和OpenBMB搞了个BitCPM-CANN,从0.5B到8B都有,全程用华为昇腾910B NPU训练,没走英伟达路线。1.58比特三元量化意味着每个权重只取三种值,内存比BF16省了约6倍,能塞进手机、电脑和车载设备里跑。基准测试成绩保住了全精度模型的95-97%,这点挺实在。

推荐理由:ModelBest、清华和OpenBMB发布BitCPM-CANN,全程用华为昇腾910B训练,1.58比特量化让内存比BF16省约6倍,基准成绩保住全精度模型的95-97%。

Latent Space

AI 基础设施又添独角兽:Exa、Modal、TurboPuffer 三家同时拿到大额融资

这期主要聊了三家 AI 基础设施公司的融资进展。TurboPuffer 先确认年经常性收入达到 1 亿美元并且已经盈利,这个数字说明做向量数据库的生意可以自己造血了。Exa 完成了 2.5 亿美元的 C 轮融资,估值 22 亿美元,他们做的是 AI 搜索引擎。

推荐理由:TurboPuffer 确认年经常性收入达 1 亿美元并已盈利,向量数据库这类基础能力已有客户持续付费,为判断同类基础设施公司的商业化路径提供了参照。

AI HOT 精选

智谱发布 GLM-5.1 高速版,API 输出冲到每秒 400 个 token

智谱在 5 月 22 日给部分企业客户开放了 GLM-5.1-highspeed 接口,输出速度标称 400 tokens/s,说是目前大模型厂商里最快的。过去跑得快的模型通常能力会打折,这次智谱声称把旗舰模型的能力和低延迟同时塞进了生产环境。提速主要靠 GLM 团队和 TileRT 团队在三个层面做的系统优化:推理引擎重写了核心路径来提升单卡吞吐。

推荐理由:智谱向部分企业客户开放 GLM-5.1 高速版接口,标称输出速度达每秒 400 个 token,其提速来自推理引擎核心路径重写等系统优化,可用于观察旗舰模型能力与低延迟在生产环境中的取舍。

纽约时报中文网

特朗普松口卖芯片,北京反而拦着不让买

特朗普半年前批准英伟达向中国卖 H200 芯片,但北京至今没让任何一家公司下单,反而把企业往华为、寒武纪等国产替代上推。文章说这背后是中美技术脱钩的深度不信任:中国想借机逼本土芯片产业提速,企业则抱怨算力不够是最大瓶颈。

推荐理由:特朗普批准英伟达对华销售 H200 芯片半年后,北京仍未放行任何企业下单,并引导算力需求转向华为、寒武纪等国产方案,这条呈现了政策松动与采购停滞并存的局面。

Computing Life · Share · 鸭哥调研

DS4 引擎让 DeepSeek V4 Flash 在 Mac 上跑起来了,还解决了 agent 对话的“失忆”问题

DeepSeek V4 Flash 是个 284B 总参数、13B 激活的 MoE 模型,性能接近前沿水平,但主流推理引擎在 Mac 上都跑不了。antirez 专门为它写了 DS4 引擎,纯 C、Metal 优先,一个编译命令就能用。

推荐理由:antirez 为 284B 总参数、13B 激活的 DeepSeek V4 Flash 写了纯 C、Metal 优先的 DS4 推理引擎,补上主流引擎在 Mac 上跑不了的空缺。

Computing Life · Share · 鸭哥调研

智谱 GLM-5.1 API 跑到每秒 400 个 token,靠的不是优化,是换了一套执行逻辑

智谱在 5 月 22 日放出了 GLM-5.1 高速版 API,输出速度标称 400 tokens/s,是人类阅读速度的 80 倍以上。这个速度不是靠传统编译优化“调”出来的,而是底层的 TileRT 推理引擎把 GPU 的工作模式从“批处理车间”改成了“连续流水线”——取消计算步骤之间的等待和隔离,让数据持续流动,GPU 不再频繁启停。

推荐理由:智谱发布 GLM-5.1 高速版 API,输出速度标称 400 tokens/s,其 TileRT 推理引擎把 GPU 从批处理改为连续流水线执行,取消计算步骤间的等待与隔离。