跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

609 条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 441–460 条 · 共 609 条

5月9日星期六

AI HOT 精选

EMO:让专家模型自己长出模块,用八分之一专家就能干活

AllenAI 放出了一个叫 EMO 的混合专家模型(MoE),总参数量 140 亿,每次推理只激活 10 亿参数。它最大的不同是训练时没按人类划好的学科(比如数学、代码)去分专家,而是让模型自己从 1 万亿 token 的数据里长出模块。结果是,跑特定任务时你只用挑出 12.5% 的专家,性能就接近全模型水平。

推荐理由:AllenAI 的 EMO 训练时不按学科划分专家,让模型从 1 万亿 token 中自行长出模块,跑任务时只激活 12.5% 的专家即可接近全模型水平。

5月8日星期五

r/LocalLLaMA

Gemma 4 26B 在单张 RTX 5090 上跑到每秒 600 token

chain-77 用 vLLM 0.19.2rc1 测了 Gemma 4 26B,开了 DFlash 投机解码后,单张 RTX 5090 的输出吞吐从每秒 228 token 跳到 578 token。测试条件是输入 256 token、输出 1024 token、并发数 1、投机 token 数设为 13。

推荐理由:chain-77 在单张 RTX 5090 上用 vLLM 0.19.2rc1 测 Gemma 4 26B,开启 DFlash 投机解码后输出吞吐从每秒 228 token 升至 578 token,并给出并发数与投机 token 数等可复现参数。

机器之心 · 公众号

SGLang 团队拿了 1 亿美元种子轮,成立新公司 RadixArk,要做开放的 AI 基础设施

SGLang 的团队新成立了一家公司叫 RadixArk,5 月 5 号宣布完成 1 亿美元种子轮融资,投后估值 4 亿美元。SGLang 是一个开源的模型推理框架,目前在 GitHub 上有超过 2.7 万颗星,部署的 GPU 超过 40 万张。

推荐理由:SGLang 团队成立 RadixArk 并完成 1 亿美元种子轮,投后估值 4 亿美元,其开源推理框架已有 2.7 万 GitHub 星和超 40 万张 GPU 部署。

新智元 · 公众号

用 token 级价值函数控制回答长度,3B 模型在长度控制上跑赢 GPT-5.4 和 Claude

加州大学圣塔芭芭拉分校和苹果的研究人员搞了个叫 LenVM 的方法,把“还剩多少 token 要生成”建模成一个 token 级别的价值函数,相当于给模型装了个实时字数进度条。

推荐理由:加州大学圣塔芭芭拉分校和苹果提出 LenVM,把剩余生成长度建模为 token 级价值函数,让 3B 模型在长度控制上超过 GPT-5.4 和 Claude。

量子位 · 公众号

哈工大华为搞了个免训练加速框架,让扩散大模型推理快4.48倍还不掉精度

哈工大深圳、华为和深圳河套学院提出一个叫 Dynamic-dLLM 的框架,不用重新训练就能给扩散大语言模型加速。在 LLaDA-8B-Instruct 上跑 GSM8k 数学题,吞吐量从每秒 8.32 个 token 提到 37.29 个 token,快了 4.48 倍,而且精度几乎没降。

推荐理由:哈工大深圳与华为提出免训练加速框架 Dynamic-dLLM,在 LLaDA-8B-Instruct 上把 GSM8k 吞吐量从每秒 8.32 个 token 提到 37.29 个,精度几乎不变。

FT · 科技

科技巨头砸了7250亿美元搞AI基建,自由现金流跌到十年最低

FT这篇付费文章正文被锁了,只从标题和摘要片段能看出几个关键信息:硅谷大厂们过去在AI基础设施上累计花掉了7250亿美元,这个数字直接把它们的自由现金流压到了近十年的最低点。以前这些公司是轻资产、现金牛的玩法,现在被迫转型成重资产的基建投资者。

推荐理由:硅谷大厂在AI基础设施上累计投入7250亿美元,自由现金流被压到近十年最低,从轻资产现金牛转向重资产基建投资。

r/LocalLLaMA

单张 4090 跑出 11.67%:TOPAS 递归架构在 ARC-AGI-2 上的本地测试结果

Doug_Bitterbot 用一张 RTX 4090 训练了大约 14 天,让 TOPAS 模型在 ARC-AGI-2 抽象推理测试上拿到了 11.67% 的分数。这个模型只有 1 亿参数,本地跑分最高到过 36%,但它的递归测试时训练(TTT)机制在 Kaggle 的题目上出了问题,将近一半的谜题直接输出空结果。

推荐理由:一张 RTX 4090 训练约 14 天,让 1 亿参数的 TOPAS 在 ARC-AGI-2 上拿到 11.67%,本地跑分则到过 36%,递归测试时训练在 Kaggle 上导致近一半题目输出空结果。

彭博科技

英伟达计划向数据中心公司 IREN 投资最多 21 亿美元,联手建 AI 基础设施

英伟达和 IREN 签了份 AI 基础设施合作协议,英伟达会投进最多 21 亿美元。这笔钱用来一起建 AI 数据中心,但公告没写具体占多少股份、分几期付款,也没提建成后能增加多少算力。

推荐理由:英伟达与数据中心公司IREN签署AI基础设施合作协议,最高投资21亿美元用于共建AI数据中心,公告未披露股权比例、付款分期与建成算力。

The Verge · AI

SpaceX 要在德州砸 550 亿美元建 AI 芯片厂

SpaceX 在奥斯汀的“Terafab”芯片工厂计划投资至少 550 亿美元,一份听证会文件显示后期总投资可能拉到 1190 亿美元。马斯克 3 月说过目标是年产能支撑 200GW 算力的芯片,但正文没披露具体用哪种制程工艺。

推荐理由:SpaceX 计划在奥斯汀建芯片厂,听证会文件显示投资从至少 550 亿美元可能增至 1190 亿美元,马斯克给出的目标是年产能支撑 200GW 算力。

AI HOT 精选

冻结模型里藏着可读的行为信号,Cygnus 靠适配器把 Qwen-32B 的 ARC 得分从 82% 拉到近 95%

Proprioceptive AI 搞了个叫 Cygnus 的技术,给已经冻结的大模型外挂一个自感知适配器,不重新训练就能读出模型内部残留的行为信号。做法是把隐藏状态投影到一个用 gl(4,R) 李代数定义的数学空间里,从中分离出他们称为“暗模式”的精度信号。

推荐理由:Proprioceptive AI 为冻结模型外挂自感知适配器,不重训即可从隐藏状态读出行为信号,Qwen-32B 的 ARC 得分由 82% 升至近 95%。

NVIDIA 博客

美国能源部长与英伟达谈 Genesis 任务:用 AI 给电网审批提速,从几年缩到几周

美国能源部和英伟达要在阿贡国家实验室建两台 AI 超算。小的一台叫 Equinox,用 10,000 块 Grace Blackwell GPU;大的一台叫 Solstice,计划上 100,000 块还没发布的 Vera Rubin GPU。

推荐理由:美国能源部与英伟达在阿贡国家实验室部署两台 AI 超算,规模从一万块 Grace Blackwell 到十万块 Vera Rubin GPU,指向电网审批从数年到数周的提速目标。

AI HOT 精选

antirez 开源了 DeepSeek 4 Flash 的本地推理引擎,专跑在苹果芯片的 Metal 上

Redis 作者 antirez 在 GitHub 上放出了一个叫 ds4 的项目,是一个让 DeepSeek 4 Flash 模型在 Mac 上本地跑的推理引擎。它直接调用苹果的 Metal Performance Shaders 来降低延迟和内存占用,相当于给模型配了个更底层的加速驱动,而不是简单套个壳。

推荐理由:Redis 作者 antirez 发布 ds4 项目,让 DeepSeek 4 Flash 模型在 Mac 上本地运行,并直接调用苹果 Metal Performance Shaders 降低延迟与内存占用。

5月7日星期四

AI HOT 精选

中国 AI 实验室内部笔记:学生军团、快跟文化和被压缩的算力

作者走访了国内几家头部 AI 实验室,发现一个明显特点:核心贡献者里学生占比很高,他们没包袱、上手快,愿意做那些不炫但能让模型变好的脏活累活。这种文化让中国团队在追赶大模型、做智能体工作流时效率很高,但也被一些技术负责人认为会抑制从 0 到 1 的原创研究。

推荐理由:作者走访国内几家头部 AI 实验室,记录学生构成核心贡献者、快跟文化提升追赶效率,也带来原创研究受抑制的争议。

AI HOT 精选

商汤 SenseNova-U1 开源 8 步蒸馏 LoRA,扩散模型推理从 23 秒压到 2 秒

商汤把扩散模型常用的 100 步生成流程蒸馏到只剩 8 步,GPU 上跑一张图从 23 秒降到 2 秒,快了 11 倍。做法是训了一个 LoRA 权重,直接挂到模型上就能用,不用改原模型结构。配套给了 ComfyUI 工作流,覆盖文生图、改图和交错生成。正文没提具体画质对比和什么显卡跑的,这点先别太激动。

推荐理由:商汤开源 8 步蒸馏 LoRA,把扩散模型 100 步生成流程压缩到 8 步,单张图 GPU 推理从 23 秒降到 2 秒,并配套 ComfyUI 工作流,覆盖文生图、改图和交错生成。

量子位 · 公众号

浙大与阿里提出 MetaCompress:只看图片就能学会压缩 Token,多轮视觉问答压缩率 90% 且精度不掉

这篇 CVPR 2026 论文介绍了一个叫 MetaCompress 的框架,专门解决多轮视觉问答里图片 Token 太多、推理太贵的问题。它的做法是让模型只看输入图片,自己生成一张“压缩映射图”,直接决定哪些视觉 Token 该留、哪些该扔,不需要额外训练一个压缩网络。文章给出的核心数据是:能砍掉 90% 的视觉 Token,同时保持回答精度不降。

推荐理由:浙大与阿里提出 MetaCompress,让模型仅凭输入图片生成压缩映射图来决定视觉 Token 取舍,在多轮视觉问答中砍掉 90% 的 Token 而精度不降。

r/LocalLLaMA

在单张 RTX 3090 Ti 上跑 Qwen3.5/3.6 的 NextN MTP 投机解码指南

Reddit 用户分享了一个 llama.cpp 实操指南,用单张 RTX 3090 Ti 跑 Qwen3.5 和 3.6 的 NextN MTP(多 token 预测,一种让模型一次猜好几个词来加速生成的技术)。目前需要打两个还没合并的 PR:#22400 和 #22673。

推荐理由:Reddit 用户给出在单张 RTX 3090 Ti 上运行 Qwen3.5 和 3.6 的 llama.cpp 实操指南,依赖两个尚未合并的 PR,涉及 NextN MTP 投机解码的配置方法。

Latent Space

Anthropic 租下 xAI 孟菲斯超算,年费或达 50 亿美元,Claude 推理能力几天内就要搬上去

Anthropic 在第二届开发者活动上宣布,将租用 xAI 在孟菲斯的 Colossus I 超算集群来跑 Claude 的推理任务,预计几天内就开始迁移。外界根据 300 兆瓦的功耗规模估算,这笔交易一年可能花掉 Anthropic 约 50 亿美元,相当于 xAI 变相成了一家提供算力租赁的云厂商。

推荐理由:Anthropic 宣布租用 xAI 孟菲斯 Colossus I 超算集群运行 Claude 推理,几天内启动迁移;按 300 兆瓦功耗规模估算,年费或达 50 亿美元,xAI 由此切入算力租赁。

机器之心 · 公众号

马斯克宣布 xAI 解散,Grok 并入 SpaceXAI,22 万张 GPU 算力租给 Anthropic

马斯克确认 xAI 解散,Grok 和 X 平台相关业务全部并入新实体 SpaceXAI。同时,SpaceX 和 Anthropic 签了协议,Claude 将接入 Colossus 1 超算——超过 22 万张 Nvidia GPU、300 兆瓦的算力集群。

推荐理由:马斯克确认 xAI 解散,Grok 与 X 平台业务并入 SpaceXAI,同时 SpaceX 将 Colossus 1 超算的 22 万张 GPU 算力租给 Anthropic,涉及两家 AI 公司竞争格局的变动。

Computing Life · Share · 鸭哥调研

Anthropic 半年签下四笔算力大单,xAI 把自家超算中心整租给了对手

Anthropic 在六个月内接连锁定了 AWS Trainium、Google TPU、SpaceXAI Colossus 1 和 CoreWeave 的算力,覆盖了市面上三种主流芯片架构。同一时间,xAI 把拥有 22 万张 GPU 的 Colossus 1 数据中心全部租给了 Anthropic,而自家 GPU 利用率只有 11%。

推荐理由:Anthropic 半年内锁定 AWS、Google、SpaceXAI 与 CoreWeave 四家算力,覆盖三种主流芯片架构,同期 xAI 将 22 万张 GPU 的 Colossus 1 整租给这家对手。

FT · 科技

Arm 预计自家 AI 芯片明年能卖 20 亿美元,但没公布客户和制程

Arm 第一次自己做 AI 芯片,就给出了明年 20 亿美元的销售预期。这个数字不小,但文章正文被付费墙挡住了,看不到具体是卖给谁、用什么工艺生产、什么时候交货。软银在背后撑腰,需求据说很强劲,不过在没有客户名单和定价的情况下,这个预测先打个折看。

推荐理由:Arm 从芯片设计授权转向自研 AI 芯片,并给出明年 20 亿美元的销售预期,这家长期做 IP 授权的公司由此切入芯片销售。