跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

609 条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 261–280 条 · 共 609 条

5月30日星期六

r/LocalLLaMA

网友实测 Gemma 4 和 Qwen 3.6 的 MTP 加速:vLLM 上推理速度提升 3.34 倍

一位老哥在 RTX PRO 6000 显卡上跑了 MTP(多 token 预测,一次猜好几个词来加速生成)的测试。他用 vLLM 跑 Gemma 4 31B 模型,开了 MTP 后速度从每秒 39.69 个 token 飙到 132.52 个,快了 3.34 倍。测试是跑 10 次、每次生成 1500 个 token 取的结果。

推荐理由:一位用户在 RTX PRO 6000 上用 vLLM 测试 Gemma 4 31B 开启 MTP 前后的推理速度,从每秒 39.69 个 token 提升到 132.52 个,给出具体硬件与框架下的实测数据。

AI HOT 精选

OpenAI 放出一个实时翻译语音模型,70 多种语言输入,13 种语言输出

OpenAI 发了 gpt-realtime-translate,一个专门做语音翻译的模型。你对着它说 70 多种语言里的任意一种,它能直接用 13 种目标语言把语音播出来。OpenAI 说大模型虽然强,但特定任务还是得上专用模型。目前这个功能已经在智能眼镜上跑起来了,不过正文没披露延迟、准确率和具体硬件细节。

推荐理由:OpenAI 发布专做语音翻译的 gpt-realtime-translate,支持 70 多种语言输入、13 种语言输出,并已落地智能眼镜,可了解专用模型在实时翻译场景的取舍。

TechCrunch · AI

Nvidia 刚花 200 亿美元变相收购人才,AI 芯片公司 Groq 又传出要内部融资 6.5 亿,重心从硬件转向推理

Axios 的消息说,Groq 正在寻求 6.5 亿美元的内部融资,同时公司方向会从造芯片转向主攻 AI 推理,也就是优化模型接到指令后生成回答的那一步。这个动作发生在 Nvidia 被曝用 200 亿美元做了一笔“非收购式挖人”之后。正文没披露 Groq 现在的估值、投资人是谁、交易结构,也没说这轮融资的时间表。

推荐理由:Groq 寻求 6.5 亿美元内部融资,同时把重心从造芯片转向 AI 推理,这一转向发生在 Nvidia 以 200 亿美元做非收购式挖人之后。

5月29日星期五

新智元 · 公众号

DeepSeek 三款模型冲进 OpenRouter 月榜前十,总消耗超 17 万亿 Token

OpenRouter 的月度统计显示,DeepSeek 有三款模型进了前十,加起来的 Token 消耗量超过 17 万亿。其中 V4 Flash 一个模型就占了 9.13 万亿 Token,用量很猛。

推荐理由:OpenRouter 月度统计显示 DeepSeek 三款模型进入前十,合计消耗超 17 万亿 Token,其中 V4 Flash 单款占 9.13 万亿,可了解国产模型在聚合平台上的实际调用规模。

r/LocalLLaMA

Liquid AI 发布 LFM2.5-8B-A1B,一个 80 亿参数、支持 12.8 万 token 上下文的模型

Liquid AI 放出了新模型 LFM2.5-8B-A1B。它用 380 亿个 token 做预训练,之后又做了大规模强化学习,上下文窗口能塞进 12.8 万个 token。词汇表翻了一倍,对非拉丁语系的 token 切分更友好。模型已经挂在 Hugging Face 上。

推荐理由:Liquid AI 发布 LFM2.5-8B-A1B,80 亿参数配 12.8 万 token 上下文,词汇表翻倍后对非拉丁语系切分更友好,模型已上架 Hugging Face。

机器之心 · 公众号

TogetherAI 搞了个真 2-bit 的 KV 缓存压缩方案 OSCAR,长上下文推理能跑更快

TogetherAI 和合作方发布了 OSCAR,一个把 KV 缓存压到平均每个值只占 2.28 比特的压缩系统,已经接进了 SGLang 推理框架。在 10 万 token 的长上下文场景里,解码速度最高能到原来的 3 倍;在固定显存预算下,整个任务吞吐量最高能到 7 倍。正文没披露具体模型和测试硬件,也没说精度损失有多大,这点先别太激动。

推荐理由:TogetherAI 发布 OSCAR,把 KV 缓存压到平均每值 2.28 比特并接入 SGLang,10 万 token 场景解码最高提速 3 倍,固定显存下吞吐最高 7 倍。

机器之心 · 公众号

马嘉祺让大模型翻车,背后是低频词退化问题,有人一年前洗澡时就发现了

文章页面被微信环境验证挡住了,正文内容没拿到。从现有标题和英文摘要看,讲的是 FaceMind 团队把大模型在“马嘉祺”这类低频词上翻车的现象,和两篇论文串了起来:一篇是 EMNLP 2025 的 SLoW,另一篇是刚被 ACL 2026 接收为 Oral 的 Adam's Law。

推荐理由:FaceMind 团队把大模型在低频词上翻车的现象与 SLoW、Adam's Law 两篇论文串起来,梳理了低频 token 退化的机制解释。

彭博科技

三星开始向英伟达等客户寄送下一代 AI 内存芯片样品,声称抢到先发优势

三星电子已经开始向客户寄送其最先进的内存芯片样品,这些芯片将用于英伟达等公司的 AI 加速器。不过,正文因为 Bloomberg 的反爬机制没能抓到具体内容,所以芯片型号、客户名单、样品数量、定价和量产时间这些关键信息目前都看不到。

推荐理由:三星已向英伟达等 AI 加速器客户寄出最先进内存芯片样品,在下一代 AI 内存供应上先于对手进入客户验证环节。

彭博科技

Apollo 正为 Anthropic 拉一笔 360 亿美元贷款,用来买谷歌芯片

Apollo 和 Blackstone 在找其他投资人一起凑约 360 亿美元的债务融资,给 Anthropic 建 AI 基础设施。标题说这笔钱会用来买谷歌的芯片,但正文因为 Bloomberg 的反爬墙没抓到,具体买什么型号、多少量、什么时候交付都没披露。

推荐理由:Apollo 与 Blackstone 正为 Anthropic 募集约 360 亿美元债务融资,用于采购谷歌芯片,AI 实验室以债务而非股权承担算力成本的做法由此多了一个具体样本。

AI HOT 精选

苹果想把谷歌数万亿参数的 Gemini 模型压缩进 iPhone,给新 Siri 当大脑

苹果正在尝试用模型蒸馏技术,把谷歌那个参数规模大到数万亿的 Gemini 模型缩小,塞进 iPhone 里本地运行,用来驱动新版 Siri。但 Ars Technica 的报道也泼了盆冷水:因为原始模型实在太大,完全在手机本地跑通的可能性很低,大概率还是得搭配云端处理。正文没披露具体的蒸馏方案、参数目标、延迟要求,也没给出发布时间表。

推荐理由:苹果尝试用蒸馏技术把谷歌数万亿参数的 Gemini 模型压缩进 iPhone 本地运行,以驱动新版 Siri,而报道判断完全本地跑通的可能性很低,大概率仍需云端配合。

5月28日星期四

量子位 · 公众号

DeepSeek V4 用上华为昇腾芯片做训练,国产算力生态开始跑通闭环

这篇文章本身因为微信环境验证失败,正文内容没抓到,只能根据标题和摘要信息来聊。标题里提到的“芯模协同”,指的是 DeepSeek V4 在训练时直接跟华为昇腾芯片做适配优化,不是先拿英伟达跑完再移植。摘要里说 CANN(华为的 AI 计算框架)一口气开源了 65 个代码仓库,并且支持 70 多个主流模型“开箱即用”,不用等适配。

推荐理由:DeepSeek V4 在训练阶段直接与华为昇腾芯片做适配优化,CANN 开源 65 个代码仓库并支持 70 多个主流模型开箱即用,国产算力从芯片到框架再到模型的协同路径有了具体进展。

r/LocalLLaMA

Zai 把 GLM-5.1 推理集群的网络架构换了,吞吐量提了 15%

Zai 在一个千卡规模的 GLM-5.1 代码推理集群上,把原来的 ROFT 网络拓扑换成了自研的 ZCube。硬件、软件栈和模型都没变,但交换机与光模块成本降了 33%,GPU 推理吞吐量提升了 15%。在把输入理解(prefill)和内容生成(decode)拆开跑的部署模式下,首个 token 的 P99 尾部延迟也砍掉了 40.6%。

推荐理由:Zai 在千卡 GLM-5.1 推理集群上把网络拓扑从 ROFT 换成自研 ZCube,硬件软件模型均未改动,交换机与光模块成本降 33%、吞吐升 15%。

r/LocalLLaMA

一张 RTX 3060 12GB 跑通 Qwen3.6-35B-A3B,128K 上下文生成速度 37 token/秒

用户 old-mike 在一张 RTX 3060 12GB 显卡上,用 spiritbuun 的 llama.cpp 优化分支和 mudler 的 APEX 量化模型,成功跑起了 17.3GB 的 Qwen3.6-35B-A3B。在已填充 72K 上下文时,生成速度达到 37.17 token/秒。

推荐理由:用户 old-mike 在单张 RTX 3060 12GB 上以 llama.cpp 优化分支和 APEX 量化跑起 17.3GB 的 Qwen3.6-35B-A3B,填充 72K 上下文时生成速度 37 token/秒,给出了消费级显卡跑大模型的具体配置与速度参考。

AI HOT 精选

Mistral 在 AI Now 峰会上公布工业 AI 路线图,Vibe 升级,并在巴黎郊区建推理数据中心

Mistral 在自家峰会上主要说了三件事。第一,他们和空客、宝马、ASML 合作搞工业 AI,让模型进到设计、制造这类业务流程里干活,但具体怎么落地、效果如何正文没细讲。第二,Vibe 这个能处理长周期任务的 AI 助手迎来升级,具体能力变化也没展开。

推荐理由:Mistral 与空客、宝马、ASML 合作推进工业 AI,并公布巴黎郊区 10 MW 推理数据中心和 2026 Q3 时间表,为观察欧洲算力布局与工业落地提供参照。

AI HOT 精选

Mistral 推出物理 AI 模型,用一张 GPU 几秒钟预测完整物理场

Mistral 整合了 Emmi AI 团队,发布了一个面向工业工程的物理 AI 基础模型。它能根据几何结构、边界条件或测量数据,在单张 GPU 上用几秒钟预测出完整的物理场(比如温度、应力分布)。正文没披露具体架构、参数量、训练数据规模和实测误差范围,也没给出跟传统数值仿真在精度和速度上的量化对比,所以实际工程可用性还得看后续验证。

推荐理由:Mistral 整合 Emmi AI 团队后推出面向工业工程的物理 AI 基础模型,可在单张 GPU 上几秒预测温度、应力等完整物理场,为关注工业仿真效率的读者提供一条技术路线参考。

Latent Space

Cognition 拿了 10 亿美元,估值冲到 260 亿,预计年底年经常性收入超 10 亿

Cognition 完成了 10 亿美元的 D 轮融资,估值 260 亿美元,比 8 个月前 C 轮时的 100 亿估值涨了 1.5 倍。公司自己预计到年底年经常性收入能超过 10 亿美元,客户里包括 Exa 和 Modal 这类挑剔的企业。正文没披露具体的利润率或成本结构,所以这个收入数字先别直接等同于利润。

推荐理由:Cognition 完成 10 亿美元 D 轮融资,估值 260 亿美元,8 个月内从 100 亿涨到 260 亿,AI 编程 agent 赛道的资本热度由此有了一个具体参照。

新智元 · 公众号

清华团队开源 PilotDeck:让多个 AI 分工干活,Token 成本砍掉七成

清华 NLP 实验室、面壁智能、OpenBMB 和 AI9stars 一起放出了 PilotDeck 的开源代码。这套系统让多个 AI 子代理分工协作,各自有独立的工作区和可编辑的记忆库,每次任务还会留下调度日志。

推荐理由:清华 NLP 实验室等团队开源 PilotDeck,让多个 AI 子代理各带独立工作区和可编辑记忆库分工协作,并留下调度日志,为多代理工作流提供一套可参考的开源实现。

机器之心 · 公众号

Mila 和 DeepMind 搞了个大一统的缩放定律公式 UNSL,想把参数量、数据量、训练步数这些变量塞进同一个框架里

正文因为微信环境异常被屏蔽了,具体技术细节看不到。从标题和已有英文摘要看,这篇论文提出了一种叫 UNSL(统一神经缩放定律)的多变量公式,不再只看模型参数或数据量单一维度,而是同时建模参数量、token 数、训练步数,还考虑了训练瓶颈、过拟合以及超参数调不好的负面影响。

推荐理由:Mila 与 DeepMind 提出 UNSL,把参数量、token 数和训练步数放进同一缩放公式,并纳入训练瓶颈与过拟合的影响,为多变量下的训练配置估算提供统一框架。

TechCrunch · AI

Snowflake 跟 AWS 签了 60 亿美元的五年长约,专门锁定 AI 芯片算力

Snowflake 和 AWS 敲定了一笔 60 亿美元、为期五年的合同,用来确保 AI 芯片的供应。原文没披露具体芯片型号、交付时间,也没说这批算力是拿来做模型训练、跑推理还是两者都有。对 AWS 来说这是个大单,对 Nvidia 则是个信号——大客户在找替代方案。不过正文信息有限,具体怎么用、能省多少成本都还没谱。

推荐理由:Snowflake 与 AWS 签下 60 亿美元五年合同锁定 AI 芯片算力,这笔大单显示大型云客户正在英伟达之外寻找替代算力来源。

r/LocalLLaMA

一台 300 美元笔记本跑 Qwen 3.5 35B 模型,推理速度跑到每秒 10.33 个 token

一位 Reddit 用户在一台 300 美元买的联想 Ideapad Slim 3i 上,用纯 CPU 跑 Qwen 3.5 35B 模型(Q4_K_S 量化版),推理速度达到了每秒 10.33 个 token。这台机器是 i3-1215U 处理器,板载 8GB 内存加一条 32GB DDR4 扩展内存。

推荐理由:Reddit 用户用 300 美元的联想 Ideapad Slim 3i 纯 CPU 运行 Qwen 3.5 35B 的 Q4_K_S 量化版,推理速度达到每秒 10.33 个 token。