跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

609 条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 281–300 条 · 共 609 条

5月28日星期四

AI HOT 精选

Hao AI Lab 开源 FastVideo Dreamverse,一张 B200 显卡 7 秒跑出 30 秒 1080p 视频

这个工具用一张 NVIDIA B200 GPU 搭配 LTX-2 模型,把生成 30 秒 1080p 视频的时间压到了 7 秒,做到了实时出片。代码和博客都公开了,但正文没披露画面质量、一致性和复杂场景下的表现,实际效果得自己跑一遍才知道。

推荐理由:Hao AI Lab 开源 FastVideo Dreamverse,用单张 NVIDIA B200 搭配 LTX-2 模型把 30 秒 1080p 视频生成压到 7 秒,代码和博客一并公开。

5月27日星期三

AI HOT 精选

Perplexity 开源 Unigram 分词器,CPU 占用降了五六倍

Perplexity 把自家重写的 Unigram 分词器开源了,放在 pplx-garden 仓库里。这个分词器主要解决一个实际问题:现在小型的重排序模型和嵌入模型在 GPU 上跑一次只要几毫秒,但 CPU 分词那一步反而成了拖后腿的环节。他们这次重构后,CPU 占用直接降了 5 到 6 倍,等于把分词这步的延迟砍掉一大截,让整体响应更快。

推荐理由:Perplexity 开源了重写的 Unigram 分词器,把重排序和嵌入模型流程中 CPU 分词这一步的占用降低 5 到 6 倍,让分词不再拖慢整体响应。

量子位 · 公众号

卡内基梅隆和马里兰大学让大模型“睡觉”:上下文快满时暂停、压缩记忆再继续推理

这篇论文给大模型设计了一个类似人类睡眠的机制。当模型处理长文本、上下文窗口快塞满时,它会主动停下来,不再接收新 token,而是利用离线时间对已积累的上下文做多轮递归前向计算,把信息压缩成“快速权重”。之后清空 KV 缓存,相当于整理完记忆再醒来继续干活。

推荐理由:卡内基梅隆和马里兰大学给大模型设计了类似睡眠的机制,在上下文快满时暂停并压缩记忆,为长文本推理中的显存与上下文管理提供了一种可迁移的方法。

新智元 · 公众号

OpenRouter 月吞 100 万亿 Token,刚拿了 1.13 亿美元 B 轮融资

OpenRouter 做的是 AI 模型的“中转站”,用一个 API 就能调用 400 多个模型。现在每周处理 25 万亿 Token,一个月差不多 100 万亿。这轮融资由 CapitalG 领投,估值到了 13 亿美元。正文没披露具体盈利和成本结构,所以“赚爆了”这个说法先打个折,但流量规模确实大。

推荐理由:OpenRouter 以单一 API 接入 400 多个模型,每周处理 25 万亿 Token,B 轮由 CapitalG 领投、估值 13 亿美元,模型路由这一层的规模与资本进展由此有了具体参照。

机器之心 · 公众号

AMD 论文发现 FP4 训练不稳,锅不在随机性不够

AMD 和宾州州立大学用 MI355X 原生 FP4 硬件预训练了 Llama 3.1-8B,端到端速度比 FP8 基线快了 9-10%。但论文指出,Wgrad(权重梯度)量化是拖后腿的环节,导致每个 token 的计算开销额外增加 26-27%,而且用确定性 Hadamard 方法也稳不住。正文没披露最终模型的验证集效果对比,这点先别太激动。

推荐理由:AMD 与宾州州立大学在 MI355X 上用原生 FP4 预训练 Llama 3.1-8B,端到端比 FP8 基线快 9-10%,但权重梯度量化让每 token 开销多出 26-27%。

Latent Space

AI 推理基础设施又出百亿美金独角兽:Fireworks 估值 150 亿,Baseten 估值 110 亿,OpenRouter 融了 1.13 亿

这周 AI 圈的钱主要涌向了推理层。Fireworks 正在谈一轮估值 150 亿美元的融资,7 个月内估值涨了 3.75 倍;Baseten 也在以 110 亿美元估值募资,3 个月翻 2.2 倍。这两家都还没正式官宣,数字先别太当真。

推荐理由:Fireworks 与 Baseten 分别以 150 亿和 110 亿美元估值洽谈融资,7 个月和 3 个月内的估值涨幅,勾勒出资本向推理层集中的速度。

AI HOT 精选

高通要给字节跳动做定制 AI 芯片,订单量在百万颗级别

彭博社的消息人士说,高通和字节跳动签了一份 AI ASIC 合作协议。ASIC 就是按特定需求定制的芯片,不像 GPU 那样通用,但干专一的活更省电、效率更高。字节跳动会向高通采购数百万颗这种定制芯片,用来跑自己的 AI 服务。另一个消息源提到,这笔交易能帮字节跳动把内部已经设计好的芯片方案,变成真正可以量产的半导体。

推荐理由:高通与字节跳动签署AI ASIC定制芯片协议,采购量达数百万颗,用于运行字节的AI服务。这笔交易涉及定制芯片从内部方案走向量产,是观察大厂自研算力路径的一个具体案例。

彭博科技

Fireworks AI 正谈新一轮融资,估值冲到 150 亿美元

彭博社援引知情人士消息,Fireworks AI 正在谈一笔新融资,投后估值可能达到 150 亿美元。这家公司主要做模型推理和微调服务,帮企业跑开源模型时更快、更省钱。不过正文没披露这轮具体要融多少钱、哪些投资方在谈,也没给时间表。150 亿这个数字放在当前 AI 基础设施赛道里算很高了,但先别太激动——谈判还在进行,条款可能变,最后能不能落定还不一定。

推荐理由:Fireworks AI 正洽谈新一轮融资,投后估值或达 150 亿美元,其模型推理与微调服务面向企业运行开源模型,这一估值可放在当前 AI 基础设施赛道中作横向比较。

AI HOT 精选

TRL 新增增量权重同步:只传模型变化的部分,每步传输量从 1.2GB 降到 20-35MB

异步强化学习训练有个很现实的问题:每一步训练器都得把整个模型发给推理引擎。一个 7B 模型用 bf16 格式就要传 14GB,换成万亿参数模型更是要传 TB 级别的数据。Hugging Face 团队发现,在两次优化步骤之间,大约 99% 的 bf16 权重其实完全没变,真正变动的部分很小。

推荐理由:Hugging Face 在 TRL 中实现增量权重同步,只传两次优化间变动的权重,Qwen3-0.6B 单步载荷从 1.2GB 降至 20 至 35MB,为分布式训练的通信开销提供了一种压缩思路。

AI HOT 精选

小米 MiMo 2.5 Pro 永久降价,最高砍掉 99%,跟 DeepSeek V4 Pro 一个价

小米把 MiMo-V2.5 系列的 API 价格永久打下来了,最高降了 99%,现在和 DeepSeek V4 Pro 定价持平。花同样的钱,能用的 token 数多了 5 到 8 倍,计费方式也变简单了。老用户之前买的套餐额度会全部重置补满。降价的原因是他们在推理环节做了全栈优化,省下来的成本直接让出来了,具体技术细节后面会发博客。

推荐理由:小米将 MiMo-V2.5 系列 API 价格永久下调,最高降幅 99%,与 DeepSeek V4 Pro 持平,同价下可用 token 数增至 5 到 8 倍。

r/LocalLLaMA

PrismML 放出二值/三值 Bonsai Image 4B:1-bit 文生图扩散模型,浏览器里就能跑

PrismML 发布了 Bonsai Image 4B 的二值和三值版本,把文生图扩散 Transformer 的权重压到 1-bit 或三值,模型体积约 3GB。作为对比,FLUX.2 Klein 4B 大概要 16GB。Reddit 帖子里给了浏览器端 WebGPU 本地运行的 demo 链接,模型用 Apache-2.0 协议开源。

推荐理由:PrismML 将 Bonsai Image 4B 的文生图扩散 Transformer 权重压到 1-bit 或三值,模型约 3GB,而 FLUX.2 Klein 4B 约 16GB,并支持在浏览器 WebGPU 本地运行。

5月26日星期二

彭博科技

高通要给字节跳动供 AI 数据中心芯片,但具体型号和规模都没说

彭博援引知情人士消息称,高通将向字节跳动供应芯片,用于后者的 AI 数据中心。报道正文被付费墙挡住,没披露芯片型号、订单量、单价和交付时间。我会先打个折:这消息目前只有方向,没有可验证的细节,别急着判断这对字节的算力储备有多大影响。

推荐理由:彭博社消息称高通将向字节跳动供应 AI 数据中心芯片,但芯片型号、订单规模和交付时间均未披露,目前只能确认双方合作方向。

r/LocalLLaMA

dlmserve 开源:首个为扩散语言模型设计的推理引擎,支持 LLaDA-8B,吞吐量是 HuggingFace 的 2.5 倍

Reddit 上有人放出了一个叫 dlmserve 的开源项目,MIT 协议,专门给扩散语言模型做推理服务。它第一个支持的模型是 LLaDA-8B-Instruct,这种模型生成文本的方式和常见的自回归模型不一样,是一步步“去噪”出完整回答。引擎对外提供兼容 OpenAI 的 /v1/chat/completions 接口,方便直接替换。

推荐理由:Reddit 用户开源了 dlmserve,为扩散语言模型提供兼容 OpenAI 接口的推理服务,并给出 LLaDA-8B 在 batch=4 下吞吐量达 HuggingFace 2.5 倍的数据。

AI HOT 精选

OpenRouter 拿到 1.13 亿美元 B 轮,周 token 处理量半年翻了五倍

OpenRouter 宣布完成 1.13 亿美元 B 轮融资,由 CapitalG 领投。公司同时给出一个业务数据:过去 6 个月,平台每周处理的 token 量从 5 万亿涨到 25 万亿,翻了五倍。这个数字说明接入 OpenRouter 做模型调用的生产流量在快速变大。正文没披露估值、具体估值逻辑和资金用途,也没提盈利情况。

推荐理由:OpenRouter 完成 1.13 亿美元 B 轮融资,由 CapitalG 领投,其周 token 处理量半年从 5 万亿增至 25 万亿,模型路由层承载的生产流量规模由此有了具体参照。

阿里技术 · 公众号

南大和阿里发现 DiT 里的残差流拖慢收敛,改用跨层路由后训练快了近 9 倍

南京大学 LAMDA 组和阿里智能引擎团队提出了一种叫 DAR 的方法,把 DiT 模型里固定的残差累积,换成了按时间步动态选择路径的跨层路由。在 ImageNet 256×256 上拿 SiT-XL/2 试,FID 从 9.67 降到了 7.56,而且只用原来大约九分之一的训练步数就达到了同等收敛质量。

推荐理由:南大 LAMDA 与阿里团队把 DiT 固定的残差累积换成按时间步动态选路的跨层路由,在 ImageNet 上以约九分之一训练步数达到同等收敛质量。

量子位 · 公众号

面壁智能发布 ForgeTrain 和 MiniCPM5-1B,声称训练框架由 AI 自己编写,训练速度比英伟达 Megatron 快 10%

面壁智能放出了 ForgeTrain 训练框架和 MiniCPM5-1B 模型。ForgeTrain 最抓眼球的地方是,他们说是让 AI 自己写的代码,在同样硬件下比英伟达的 Megatron 训练快 10%。MiniCPM5-1B 是个 10 亿参数的小模型,FP16 权重约 2GB,压缩到 INT4/Q4 后约 0.5GB,主打端侧部署。

推荐理由:面壁智能发布由 AI 编写代码的 ForgeTrain 训练框架,称同硬件下训练速度比英伟达 Megatron 快 10%,并同步推出可压缩至约 0.5GB 的端侧模型 MiniCPM5-1B。

机器之心 · 公众号

面壁开源 MiniCPM5-1B 和训练框架 ForgeTrain,框架代码是 AI 自己写的,1B 模型跑分 17.9

面壁智能放出了两个东西:一个叫 MiniCPM5-1B 的端侧小模型,和一个叫 ForgeTrain 的训练框架。1B 模型在 AA-Index 上拿了 17.9 分,这个分数说明小体量也能有不错的综合能力。

推荐理由:面壁智能开源了端侧模型 MiniCPM5-1B 和训练框架 ForgeTrain,后者的代码由 AI 自己编写,1B 模型在 AA-Index 上取得 17.9 分。

AI HOT 精选

面壁智能开源 MiniCPM5-1B,1B 参数在 AA-Index 上跑赢所有 2B 以下模型,量化后 0.5GB 能塞进手机和浏览器

面壁智能联合清华和 OpenBMB 开源了一个 1B 参数的小模型 MiniCPM5-1B。它在 AA-Index(一个综合评测榜单)上的得分超过了所有参数不到 2B 的模型,甚至比 3 个月前发布的 Qwen3.5-2B 效果还好,参数量却只有后者的一半。这个模型用 INT4 量化后权重文件只有 0.5GB,可以直接在手机和浏览器里跑。

推荐理由:面壁智能联合清华和 OpenBMB 开源 1B 参数模型 MiniCPM5-1B,AA-Index 得分超过所有 2B 以下模型,INT4 量化后仅 0.5GB,可在手机和浏览器运行。

新智元 · 公众号

OpenAI 总裁回忆:奥特曼被罢免当天我就辞职了,起初觉得夺回公司只有一成胜算

Greg Brockman 在采访里复盘了 OpenAI 那场 72 小时宫斗。2023 年 11 月 17 号,董事会突然撤掉 Sam Altman 的 CEO 职位,同时把 Brockman 踢出董事会。他当天就辞职了,说当时估算把公司拿回来的概率只有 10%。

推荐理由:OpenAI 总裁 Greg Brockman 复盘 2023 年 11 月奥特曼被罢免的 72 小时,他当天辞职并估算夺回公司概率仅一成,提供了当事人视角的决策背景。

r/LocalLLaMA

Shard:把 KV 缓存压到原来的十分之一,长上下文推理更省显存

Shard 这套方法能在 Llama-3.1-8B 上把 KV 缓存占的显存砍掉约 90%。具体来说,8K 上下文长度时压缩比约 10 倍,拉到 32K 时能到 11 倍。技术路线分两路:对 Key 矩阵先用 PCA 降维再做 int4 量化,对 Value 矩阵则用 Hadamard 旋转配合向量量化。

推荐理由:Shard 在 Llama-3.1-8B 上把 KV 缓存显存压缩约九成,8K 上下文约 10 倍、32K 约 11 倍,Key 走 PCA 加 int4 量化、Value 走 Hadamard 旋转加向量量化。