跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

609 条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 341–360 条 · 共 609 条

5月21日星期四

AI HOT 精选

Perplexity 上线查询感知压缩,上下文 token 最多砍掉 70% 但回答质量反而更好

Perplexity 把一项叫“查询感知压缩”的技术用到了线上。它能在搜索时把喂给模型的上下文 token 最多减少 70%,同时回答质量还提升了。核心逻辑是“更好的上下文优于更多的上下文”,也就是先理解你问什么,再挑最相关的信息塞进窗口,而不是一股脑全丢进去。

推荐理由:Perplexity 将查询感知压缩用于线上搜索,喂给模型的上下文 token 最多减少 70%,回答质量反而提升,其先理解问题再筛选信息的做法提供了压缩与效果兼顾的参考。

5月20日星期三

阿里技术 · 公众号

阿里平头哥发布真武 M890 AI 芯片,128 卡超节点服务器已在百炼平台上线

阿里平头哥的真武 M890 AI 芯片首次公开,主打 Agent 场景的算力底座。配套的 128 卡超节点服务器,卡间直连延迟低于 150 纳秒,机架带宽达到 Pb/s 级别。这套硬件已经在阿里云百炼平台跑起来了,支持通义千问、DeepSeek 和 Kimi 等模型。

推荐理由:阿里平头哥公开真武 M890 AI 芯片,配套 128 卡超节点服务器已在百炼平台上线,支持通义千问、DeepSeek 和 Kimi 等模型,可了解国产 AI 芯片在 Agent 场景的落地进展。

新智元 · 公众号

摩尔线程 MUSA 生态更新:SDK 对齐 CUDA 12.8,SGLang 主线已合并

摩尔线程放出了自家 GPU 生态 MUSA 的最新进展。SDK 5.1.0 把兼容目标拉到了 CUDA 12.8,覆盖了 761 个驱动和运行时接口,意思是跑 CUDA 代码时能认的指令更多了。推理框架 SGLang 的主线代码已经合并了 MUSA 的支持,硬件支持排期在 2026 年第二季度。

推荐理由:摩尔线程 SDK 5.1.0 将兼容目标对齐 CUDA 12.8,覆盖 761 个驱动和运行时接口,SGLang 主线也已合并 MUSA 支持,硬件排期在 2026 年第二季度。

r/LocalLLaMA

用 4 张老 RTX 2080 Ti 在本地跑 DeepSeek-V4,预填充跑到 255 token/s

一个 Reddit 用户用 4 张 RTX 2080 Ti 显卡(总预算不到 2500 美元)在本地跑起了 DeepSeek-V4-Flash 模型。模型总参数 2840 亿,每次推理激活 130 亿参数。他用了 W8A8 量化(把权重和激活值都压到 8 位精度)来省显存,还自己写了适配老 Turing 架构的 CUDA 算子。

推荐理由:一位 Reddit 用户用 4 张二手 RTX 2080 Ti,配合 W8A8 量化和自写 Turing CUDA 算子,在不到 2500 美元预算下本地跑起 284B 参数的 DeepSeek-V4-Flash,预填充约 255 token/s。

AI HOT 精选

大模型 API 的补贴期结束了,三家厂商开始涨价

Tomasz Tunguz 对比了 Google、OpenAI 和 Anthropic 三家最新旗舰模型的 API 定价,发现补贴正在退潮。Google Gemini 3.1 Pro 最便宜,输入每百万 token 2 美元、输出 12 美元;OpenAI GPT-5.5 短暂补贴后涨到输入 5 美元、输出 30 美元。

推荐理由:三家旗舰模型 API 定价被放在一起比较,Google Gemini 3.1 Pro 输入每百万 token 2 美元、输出 12 美元,OpenAI GPT-5.5 补贴后涨至输入 5 美元、输出 30 美元。

AI HOT 精选

Gemini 3.5 Flash 发布:价格涨了,但谷歌打算把它塞进所有产品里

谷歌在 I/O 大会上直接发布了 Gemini 3.5 Flash,跳过预览阶段。输入价格涨到每百万 token 1.5 美元,输出 9 美元,分别是上一代 Flash 预览版的 3 倍和 Flash-Lite 的 6 倍,已经快追上自家的 Pro 型号了。

推荐理由:谷歌在 I/O 大会跳过预览直接发布 Gemini 3.5 Flash,输入输出价格涨至每百万 token 1.5 美元和 9 美元,接近自家 Pro 型号,与上一代 Flash 及 Flash-Lite 的定价差距明显。

AI HOT 精选

OpenAI 卖算力期货:交钱锁定长期 GPU,正文没写价格和最低消费

OpenAI 上线 Guaranteed Capacity 服务,让客户提前锁定长期算力,避免高峰期排队。官方说法是帮企业在算力紧张时也能跑关键任务。但公告没披露价格、合同年限、最低配额,也没说锁的是哪种 GPU。我会先打个折——这更像给大客户吃定心丸,小团队暂时不用激动。

推荐理由:OpenAI 上线 Guaranteed Capacity 服务,让客户提前锁定长期算力以避开高峰期排队,但公告未披露价格、合同年限和最低配额。

AI HOT 精选

Google 把 Tensor 芯片的 AI 能力开放给开发者,Pixel 10 手机上的 TPU 现在可以直接跑模型了

Google 发布了 Tensor ML SDK 的公开测试版,开发者现在能把 PyTorch 或 TFLite 模型转换、编译后,直接调用 Pixel 10 系列手机里的 TPU 芯片来跑推理。整个流程通过 LiteRT 这个统一框架完成,不用再分别对接底层硬件驱动。

推荐理由:Google 发布 Tensor ML SDK 公开测试版,开发者可将 PyTorch 或 TFLite 模型转换编译后直接调用 Pixel 10 手机里的 TPU 跑推理,流程统一由 LiteRT 框架完成。

r/LocalLLaMA

英伟达放出 Nemotron-Labs-Diffusion 模型,用扩散解码把 8B 模型跑到 850 tok/s

英伟达发了 Nemotron-Labs-Diffusion 系列,包含 3B、8B 和 14B 三个稠密模型。这组模型同时支持传统的自回归解码和新的扩散并行解码,还带了一种叫 self-speculation 的加速技巧。

推荐理由:英伟达发布 Nemotron-Labs-Diffusion 系列,3B 到 14B 三个稠密模型同时支持自回归与扩散并行解码,并加入 self-speculation 加速技巧。

AI HOT 精选

Gemini 3.5 Flash 发布,跑分超 3.1 Pro,生成速度是其他顶尖模型的 4 倍

Google 在 I/O 后开放了 Gemini 3.5 Flash,产品端和 API 都能用。官方说它在多数基准测试上比 3.1 Pro 强,编程能力提升明显,每秒吐 token 的速度是其他前沿模型的 4 倍。不过帖子没给具体跑分数字和测试条件,这点先别太激动。

推荐理由:Google 在 I/O 后开放 Gemini 3.5 Flash,产品端和 API 均可使用,官方称其多数基准测试强于 3.1 Pro,生成速度达其他前沿模型的 4 倍。

AI HOT 精选

谷歌发布 Gemini 3.5 Flash,输出速度跑到每秒 289 个 token,是 GPT-5.5 的四倍

谷歌在 I/O 大会上推出了 Gemini 3.5 Flash,官方说它在很多基准测试里比自家 3.1 Pro 强。最直观的卖点是快:输出速度达到每秒 289 个 token,对比的是 Claude Opus 4.7 和 GPT-5.5 xhigh,快了大约四倍。

推荐理由:谷歌在 I/O 发布 Gemini 3.5 Flash,输出速度达每秒 289 个 token,约为 GPT-5.5 xhigh 与 Claude Opus 4.7 的四倍。

r/LocalLLaMA

KV 缓存量化实测:TurboQuant 被高估,q5 值得多看两眼,对称 q8 可能白占显存

Anbeeld 用一张 RTX 3090 跑 Qwen 3.6 27B,在 64k 和 128k 上下文长度下测了 KV 缓存量化。先说结论:q4_0 在尾部 token 上的 KLD 比 q5_0 差了 32%,精度掉得明显;turbo4 比普通 q4_0 还慢 17%,显存却没省下多少,有点名不副实。

推荐理由:Anbeeld 在 RTX 3090 上测 Qwen 3.6 27B 的 KV 缓存量化,给出 q4_0 尾部 KLD 比 q5_0 差 32%、turbo4 比 q4_0 慢 17% 等具体数字。

AI HOT 精选

谷歌发布 Antigravity 2.0,用 93 个并行子智能体 12 小时搭出一个操作系统

谷歌在 I/O 大会上放出了 Antigravity 2.0 平台,已经对全球用户开放。现场演示里,他们让智能体从零构建了一个能跑起来的操作系统,只用了 12 小时。具体做法是同时跑 93 个子智能体,总共调了超过 1.5 万次模型、处理了 26 亿个 token,最后算下来 API 成本不到 1000 美元。

推荐理由:谷歌在 I/O 演示中用 93 个并行子智能体、1.5 万次模型调用和 26 亿 token,12 小时从零构建出可运行的操作系统,API 成本不到 1000 美元。

AI HOT 精选

Gemini 3.5 Flash 发布,主打快速高效跑任务

Google 推出了 Gemini 3.5 Flash,官方说法是它在快速、高效完成任务上目前最强。定位是处理日常任务和多步骤创意项目,强调能应对现实世界的复杂情况。不过正文没披露价格、上下文窗口大小、跑分成绩和 API 可用条件,这些关键信息得等后续公布。

推荐理由:Google 发布 Gemini 3.5 Flash,主打快速高效处理日常任务与多步骤创意项目,官方称其为当前同类最快最强,价格与上下文窗口等参数尚未公布。

r/LocalLLaMA

6GB 显卡跑本地会议纪要的下限测试:Qwen3.5 0.8B 用 57 秒出结果,Granite 4 350M 快但会瞎编

一位用户在 RTX 3060 笔记本(6GB 显存)上拿 VoiceFlow 1.6.0 测了两款小模型,看谁能在本地把一段 4 分钟的会议转成纪要。Qwen3.5 0.8B 在 16K 上下文窗口下花了 57 秒完成总结,结果可用。

推荐理由:用户在 6GB 显存的 RTX 3060 笔记本上实测两款小模型,Qwen3.5 0.8B 用 57 秒完成 4 分钟会议总结,Granite 4 350M 虽快却会编造内容。

AI HOT 精选

NVIDIA 开源 LongLive 2.0,用 4-bit 量化把长视频生成跑进实时

NVIDIA 把 LongLive 2.0 整套训练和推理代码都放出来了,主打 FP4 量化加并行加速,在 50 亿参数的模型上能跑到每秒 45.7 帧,比很多短视频方案还快。它支持真实视频训练、蒸馏、多镜头生成、序列并行、KV 缓存优化和异步解码部署,专门解决以前长视频生成要么慢到没法用、要么只能做几秒片段的毛病。

推荐理由:NVIDIA 将 LongLive 2.0 的训练与推理代码全部开源,在 50 亿参数模型上以 4-bit 量化实现每秒 45.7 帧,为长视频生成的低成本部署提供了可复用的工程路径。

5月19日星期二

Hacker News 首页

Forge 给开源小模型加了五层护栏,把智能体任务准确率从 53% 拉到 99%

Forge 是一个 Python 框架,专门给自部署的大模型做工具调用和多步骤智能体流程。它给 Ministral 8B 这个开源小模型套了五层护栏,在 18 个多步骤智能体场景里把任务成功率从 53% 直接提到 99.3%。作者说这背后有篇被 ACM CAIS ’26 录用的论文撑腰,覆盖了 97 种模型和后端组合,每个场景跑了 50 次。

推荐理由:Forge 用五层护栏把 Ministral 8B 在 18 个多步骤智能体场景的任务成功率从 53% 提到 99.3%,覆盖 97 种模型与后端组合,为自部署小模型做工具调用的团队提供了一套可迁移的护栏思路。

AI HOT 精选

地平线开源了 4 亿参数的机器人控制模型 HoloMotion-1,能跳舞、搬箱子,端侧跑到 300 帧

地平线机器人实验室把一个人形机器人全身控制模型 HoloMotion-1 开源了,参数规模 4 亿,他们管它叫“机器人小脑”。这个模型用了 MoE 稀疏激活和 KV-cache 推理,把单步推理开销压下来,在端侧能跑到约 300FPS,比常见的 50Hz 控制频率高出一大截。

推荐理由:地平线机器人实验室开源了 4 亿参数的人形机器人全身控制模型 HoloMotion-1,靠 MoE 稀疏激活和 KV-cache 把端侧推理做到约 300FPS,远高于常见的 50Hz 控制频率。

Latent Space

想进顶尖 AI 实验室做预训练?先学会写一个比官方库还快的 GPU 内核

Vlad Feinberg 写了一篇求职笔记,把进前沿实验室的门槛讲得很直白:核心能力是底层性能调优,也就是能动手改内核(kernel),让模型训练真的跑得动。他给了一道具体的面试题——先推导 Chinchilla 缩放定律,并比较它在稠密模型和 MoE(混合专家)架构下的区别。

推荐理由:Vlad Feinberg 的求职笔记指出,进前沿实验室做预训练的核心能力是底层性能调优,并给出推导 Chinchilla 缩放定律、比较稠密模型与 MoE 架构差异的面试题。

量子位 · 公众号

摩尔线程发布国产全栈具身智能仿真平台,机器狗“小飞”全程在自家 GPU 上完成训练

摩尔线程推出了 MT Lambda 仿真平台,把物理引擎、渲染和 AI 模型训练整合到一起,用自家的 GPU 跑通了从模拟到真机的完整流程。现场演示的机器狗“小飞”在仿真里学会走路后,直接迁移到实物上就能跑。不过正文因为需要验证码没能完整抓取,具体的技术参数、训练时长和成功率数据都没披露,这点先别太激动。

推荐理由:摩尔线程发布 MT Lambda 仿真平台,将物理引擎、渲染与 AI 训练整合在自家 GPU 上,机器狗小飞在仿真中学会走路后直接迁移到实物。