跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

609 条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 221–240 条 · 共 609 条

6月5日星期五

Hacker News 首页

Transformer 真的需要 Q、K、V 三套投影吗?这篇论文系统测了三种共享方案

这篇 ICML 2026 的论文直接动手试了三种省参数的方案:让 Key 和 Value 共用一套投影(Q-K=V)、让 Query 和 Key 共用(Q=K-V),以及三者全共用(Q=K=V)。后两种会让注意力图变成对称的,作者用 2D 位置编码来打破对称性。

推荐理由:这篇 ICML 2026 论文系统测试了三种共享 Q、K、V 投影的省参数方案,并针对后两种方案注意力图对称的问题引入 2D 位置编码来打破对称性。

AI HOT 精选

Google 开源了实时音乐模型 MRT2,在 MacBook 上延迟不到 200 毫秒

Google AI for Developers 放出了一个叫 Magenta RealTime 2(MRT2)的实时音乐模型,权重开放,推理引擎也开源了。你可以用 MIDI 键盘弹、打字给提示词,甚至用手势控制它来生成音乐。它在 MacBook 上原生跑,延迟压到了 200 毫秒以内,这个速度对实时演奏来说基本跟手。

推荐理由:Google 开源 Magenta RealTime 2 的权重与推理引擎,支持 MIDI、提示词和手势生成音乐,在 MacBook 上原生运行延迟低于 200 毫秒。

AI HOT 精选

Boson AI 与 LMSYS 发布基于 SGLang-Omni 的 Higgs Audio v3 TTS 端到端服务

Higgs Audio v3 TTS 是 Boson AI 的语音合成模型,参数量大约 4B,底层用了 Qwen3-4B。它支持 100 种语言,在内部测试集上词错率/字错率能压到个位数。这个模型专门为语音助手那种边说边生成的场景设计,不等句子结束就能开始合成,后续文本到了还能保持声音、情绪和节奏连贯。

推荐理由:Boson AI 与 LMSYS 把 4B 参数的 Higgs Audio v3 TTS 接入 SGLang-Omni 做端到端服务,支持 100 种语言,并针对语音助手边说边生成的流式场景优化声音与情绪连贯性。

6月4日星期四

r/LocalLLaMA

华为开源 KVarN:KV 缓存压缩 3 到 5 倍,推理反而更快,不是减速

华为放出了一个叫 KVarN 的 KV 缓存量化方法,Apache 2.0 协议,已经能通过一个开关直接跑在 vLLM 上。它能把存上下文的那块显存压到原来的 1/3 到 1/5,吞吐量最高比 FP16 还快 40%。和之前的 TurboQuant 不一样,它在推理任务上不会崩。不需要改模型、不用重新训练、也不用校准数据。

推荐理由:华为开源 KVarN 量化方法,把 KV 缓存显存压到三分之一至五分之一,吞吐量最高比 FP16 快四成,且在推理任务上不崩,可通过一个开关接入 vLLM。

量子位 · 公众号

Together AI 把 2-bit KV Cache 压缩真的跑在了线上服务里

Together AI 和悉尼大学、UIUC 搞了个叫 OSCAR 的 2-bit KV Cache 压缩方案,每个 KV 元素实际只占约 2.28 bit,在 Qwen3-4B-Thinking 上跑分 71.86,比 TurboQuant 高出 40.1 分。简单说就是把模型推理时占显存的大头——键值缓存——压到极低精度,还尽量不丢性能。

推荐理由:Together AI 与悉尼大学、UIUC 将 2-bit KV Cache 压缩方案 OSCAR 用于线上服务,每个 KV 元素约占 2.28 bit,在 Qwen3-4B-Thinking 上跑分 71.86,比 TurboQuant 高 40.1 分。

量子位 · 公众号

CVPR 2026 上,小鹏给英伟达、特斯拉和 Waymo 讲了一遍自己的物理 AI 技术栈

小鹏在 CVPR 2026 上公开了他们的世界模型技术栈,包含 X-World、X-Foresight 和 X-Cache 三个部分。X-Cache 能砍掉约 70% 的重复计算,相当于让模型推理时少做无用功。第二代 VLA 模型用了超过 4 万亿个 token 训练,这个量级说明训练数据投入很大。

推荐理由:小鹏在 CVPR 2026 公开世界模型技术栈,X-Cache 可减少约七成重复计算,第二代 VLA 用超 4 万亿 token 训练,为端侧模型推理优化提供可参考的工程路径。

彭博科技

台积电 CEO 魏哲家:AI 芯片产能未来几年都追不上需求

台积电 CEO 魏哲家公开说,公司芯片产能未来几年都满足不了 AI 带动的需求。他没说缺口多大、扩产计划具体到哪一年,也没给时间表。这话等于承认,就算台积电已经在疯狂建厂,AI 算力短缺也不会很快缓解。

推荐理由:台积电 CEO 魏哲家公开表示,公司芯片产能未来几年都追不上 AI 带动的需求,这为判断 AI 算力供给的紧张周期提供了来自产业链关键方的定性信号。

FT · 科技

博通市值蒸发超3000亿美元,只因营收指引没达到市场预期

博通股价在盘后交易中一度暴跌15%,市值缩水超过3000亿美元。直接原因是公司给出的下一季度营收预测让投资人失望了。不过,这篇报道的正文被付费墙挡住了,只显示了安全验证页面,具体的营收指引数字和业务细节都没披露。

推荐理由:博通因下一季度营收指引低于市场预期,盘后股价一度跌15%,市值缩水超3000亿美元,大型芯片股的估值对预期差反应剧烈。

r/LocalLLaMA

有人把折叠屏手机改成了跑本地模型的节点,用 Vulkan 加速

Reddit 用户 GsxrGuy80s 拿一台 Z Fold 6 当 GGUF 推理节点,走 Vulkan 加速,搭配 LiteLLM 和 Tailscale 组网。帖子公开了 gpu_layers=89 这个关键参数,说明把 89 层模型计算都扔给了手机 GPU。

推荐理由:Reddit 用户把 Z Fold 6 改成 GGUF 推理节点,用 Vulkan 加速并公开 gpu_layers=89 参数,展示了手机 GPU 跑本地模型的具体配置路径。

r/LocalLLaMA

有人写了个编译器,把 Python 代码转成更省 token 的格式喂给模型

作者开源了一个叫 Vulpine 的编译器,能把 Python 源码转成一种专门给代码模型看的紧凑表示。在约 1.3 万个留出测试文件上,token 用量平均减少了 14%,而且 99.8% 的情况下能无损还原回原本的抽象语法树结构。代码已经挂在 GitHub 上。不过正文没披露具体测试了哪些模型、省下的 token 对生成质量有没有影响,这点先别太激动。

推荐理由:作者开源的 Vulpine 编译器把 Python 源码转成面向代码模型的紧凑表示,在约 1.3 万个留出测试文件上平均省下 14% 的 token,且 99.8% 的情况能无损还原抽象语法树。

AI HOT 精选

Miso One 开源了一个 8B 参数的语音模型,克隆声音只需一小段样本,延迟 110 毫秒

Miso One 放出了一个 8B 参数的开源 TTS 模型,主打一次语音克隆——给它一小段音频样本就能模仿那个人的说话风格和节奏。推理延迟标称 110ms,对实时对话场景算可用。模型权重直接挂在 GitHub 上,你可以自己部署,音频数据不用上传到第三方服务器。官方说 API 之后会出,但正文没提价格和上线时间。

推荐理由:Miso One 开源了 8B 参数的语音克隆 TTS 模型,一小段音频样本即可模仿说话风格,标称 110 毫秒延迟,权重挂在 GitHub 上支持自行部署。

6月3日星期三

AI HOT 精选

智能性价比

微软在模型发布卡里加了个新指标:平均 token 用量。他们的新模型在 SWE-Bench Verified 上拿了 71.6 分,但消耗的 token 只有 Claude Haiku 4.5 的三分之一。这意味着现在衡量模型得看两个维度:活儿干得怎么样,以及干这活儿花了多少钱。靠烧 token 刷榜、靠补贴打价格战的时代在翻篇。

推荐理由:微软在新模型发布卡中加入平均 token 用量指标,该模型在 SWE-Bench Verified 上得 71.6 分,token 消耗为 Claude Haiku 4.5 的三分之一,模型评测由此多出一个成本维度。

NVIDIA 博客

英伟达和微软搞了一套统一方案,让 AI 能在 Windows 电脑、云端和本地服务器之间来回跑

微软 Build 大会上,两家宣布把 AI 部署的底层打通了。简单说,就是同一个 AI 应用,既能在你笔记本的 RTX 显卡上跑,也能无缝切到 Azure 云或者公司本地的 DGX 工作站上,不用重写代码。现场还亮了两款新硬件:RTX Spark 是个小盒子,能提供 1 petaflop 的 AI 算力(大概相当于每秒一千万亿次计算)。

推荐理由:英伟达与微软打通 AI 部署链路,同一应用可在 Windows 设备、Azure 云和本地 DGX 工作站间切换而无需重写代码,并公布 1 petaflop 算力的 RTX Spark 硬件。

r/LocalLLaMA

用 LiteRT 跑 Gemma 4 E4B,文字生成比 Q4 GGUF 快 2.4 倍,图片处理几乎没变

有人在 RTX 4060 Ti 16GB 上实测了 Gemma 4 E4B 模型。用 LiteRT 引擎跑文字生成,平均每秒能出 157.2 个 token,而用 llama.cpp 的 Q4 GGUF 格式只有 66.3 tok/s,快了大约 2.4 倍。

推荐理由:作者在 RTX 4060 Ti 上实测 Gemma 4 E4B,LiteRT 文字生成达 157.2 tok/s,约为 llama.cpp Q4 GGUF 的 2.4 倍,图片处理两者接近。

r/LocalLLaMA

Reddit 网友在 6GB 显存的笔记本 4050 上跑了 20 个小模型的速度对比

这篇帖子本身被 Reddit 的安全策略拦住了,正文内容没抓到,只留下一个“被网络安全屏蔽”的提示。从标题和已有的英文摘要看,作者用 LM Studio 的接口测了 20 个小模型,统一在 6GB 显存的 RTX 4050 上跑,每个模型在 1k、8k、32k 三种上下文长度下各测了 5 次速度。

推荐理由:Reddit 网友用 LM Studio 接口在 6GB 显存的 RTX 4050 上测了 20 个小模型,每个模型在 1k、8k、32k 三种上下文长度下各跑 5 次,给出低显存笔记本运行小模型的速度参考。

6月2日星期二

AI HOT 精选

Holo3.1 发布:一套能在本地快速跑起来的电脑/手机操作模型

H公司把他们的电脑操作模型升级到了 Holo3.1,这次主打的是“哪里都能跑”。模型基于 Qwen 系列,一口气放出 0.8B、4B、9B 和 35B-A3B 四个尺寸,并且首次提供了 FP8、Q4 GGUF 和 NVFP4 这些压缩版本,方便直接在个人设备上做本地推理。

推荐理由:H公司发布 Holo3.1 电脑操作模型,基于 Qwen 系列提供 0.8B 到 35B 四个尺寸,并配套 FP8、Q4 GGUF 和 NVFP4 压缩版本,方便在个人设备上本地推理。

claude.dev 开发者博客

Claude Code 动态工作流如何为每项任务定制执行框架

Claude Code 上周发布动态工作流,Claude 可按当前任务即时编写执行框架,并支持保存、共享和复用。工作流通过 JavaScript 中的 agent()、parallel() 和 pipeline() 协调子智能体,可选择模型和独立 worktree,中断后恢复会话可继续执行。

推荐理由:Claude Code 用独立上下文的子智能体拆分执行与对抗验证,为复杂任务减少自我偏好和目标漂移提供了具体编排方法。

AI HOT 精选

Alphabet 要融 800 亿美元砸 AI 算力,规模是过去 28 年股权融资总和的十倍

Alphabet 宣布了一轮约 800 亿美元的融资计划,用来扩建 AI 算力。钱怎么来:承销股票、强制性可转换优先股、伯克希尔 10 亿美元私募配售,外加一个 400 亿美元的 ATM 计划(其中大概 300 亿跟员工股权行权扣税有关)。这个数字比它过去 28 年七次主要股权融资加起来还多十倍。

推荐理由:Alphabet 计划融资约 800 亿美元扩建 AI 算力,规模超过其过去 28 年七次主要股权融资总和的十倍,融资由承销股票、强制可转换优先股、伯克希尔私募配售和 400 亿美元 ATM 计划组成。

量子位 · 公众号

老黄带着英伟达 CPU 杀进 PC 赛道

英伟达要在今年秋天把一台叫 RTX Spark 的 Windows 电脑推向市场。这台机器把一块 Blackwell 架构的 RTX 显卡和一颗 20 核 Arm 架构的 Grace CPU 焊在一起,通过 NVLink-C2C 高速互联,共享 128GB 统一内存。

推荐理由:英伟达把20核Grace CPU与Blackwell显卡通过NVLink-C2C封装进Windows整机,共享128GB统一内存,为本地运行大模型提供了一种不同于独立显卡的硬件方案。

新智元 · 公众号

墨芯 AI 完成近 10 亿元 C 轮融资,下一代推理卡 SparsePrime 年内亮相

墨芯人工智能刚拿了一笔近 10 亿人民币的 C 轮融资。他们做的是 AI 推理芯片,主打稀疏计算,简单说就是只算有用的部分来省电省时间。正文提到他们的 S30 和 S40 卡在 MLPerf 推理测试里拿了三连冠,但没展开说具体跑什么模型、跟谁比。下一代卡叫 SparsePrime,计划年内发布,目前还没公布详细规格和定价。

推荐理由:墨芯人工智能完成近10亿元C轮融资,其稀疏计算推理卡S30、S40曾在MLPerf测试中三连冠,下一代SparsePrime计划年内发布。