跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

609 条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 161–180 条 · 共 609 条

8月11日星期二

Mistral AI

Mistral 推出区域推理端点与 Priority Tier,并接入 GLM-5.2 等第三方开源模型

Mistral 宣布 Mistral Regional Endpoints 正式可用,客户可选择推理在欧洲或美国运行,同时 Mistral Priority Tier 进入公开预览,提供自定义速率限制和带 SLA 的可用性承诺。

推荐理由:Mistral 将区域推理端点、带 SLA 的 Priority Tier 与第三方开源模型接入同一套基础设施,为关注 AI 主权落地路径的读者提供了一份具体样本。

8月8日星期六

Dwarkesh Patel 播客

持续学习时代:AI 不再训完就上线,而是边用边学

Dwarkesh Patel 认为,一旦模型能在部署后持续更新权重,整个 AI 格局就会变。他打了个比方:就像学萨克斯,光靠看前人的笔记永远学不会,模型也不能只靠会话间传小纸条来真正干活。这会直接冲击现在的监管思路——不能再指望上线前做一次安全检查就万事大吉,按月或按季度做风险巡检才更合理。

推荐理由:Dwarkesh Patel 推演模型部署后持续更新权重会如何动摇现有安全框架,并提出从上线前一次性检查转向按月或按季度做风险巡检。

8月5日星期三

AI HOT 精选

SpecForge v0.3 发布:把草稿模型训练从主模型上拆下来,还带了一批开源草稿模型

LMSYS 把 SpecForge 的训练流程拆成了两拨独立资源:打补丁的 SGLang 服务器负责从目标模型抓特征,Mooncake 负责传数据,训练节点只管吃特征训练草稿模型。在 8 张 H20 的测试环境里,3 台服务器加 5 个训练节点的吞吐比之前绑在一起的方案高了约 10%。

推荐理由:LMSYS 将 SpecForge 的草稿模型训练拆成抓特征、传数据和训练三拨独立资源,在 8 张 H20 上吞吐比原先绑在一起的方案高约 10%。

8月4日星期二

Latent Space

推理工程大师课:Baseten 的 Philip Kiely 和 Ali Taha 聊怎么让模型跑得又快又省钱

Baseten 刚融了 130 亿美元,Philip 和 Ali 在这期播客里把推理工程拆开讲透了。他们聊了量化、投机解码、KV 缓存搬运、以及把预填充和解码拆开跑这些技术。一个 GLM-5.2 的实验发现,多量化几层反而让基准测试质量没掉,吞吐还涨了 20%,因为不同层引入的误差会互相抵消。

推荐理由:Baseten 的 Philip Kiely 和 Ali Taha 在播客中拆解量化、投机解码与 KV 缓存搬运,其中 GLM-5.2 实验显示多层量化后基准质量未降、吞吐提升 20%。

8月3日星期一

Hacker News 首页

AirLLM 让一张 4GB 显卡就能跑 70B 大模型

这个开源库把 Llama 3 70B 这样的大模型按层拆开,每次只加载一层到显存里算,算完再换下一层,所以一张只有 4GB 显存的普通显卡也能跑推理,不用多卡并联。它支持 Llama、Mistral、ChatGLM 等主流架构,直接兼容 HuggingFace 上的模型。代价是速度会慢不少,但把本地跑大模型的硬件门槛压到了笔记本级别。

推荐理由:AirLLM 把 70B 模型按层拆开逐层加载,让 4GB 显存显卡也能跑推理,硬件门槛降到笔记本级别,代价是速度变慢。

7月31日星期五

Latent Space

GPT-5.6 全线降价 20%-80%:四个月前旗舰模型的智力,现在只要十三分之一的价格

OpenAI 把 GPT-5.6 Luna 的价格砍到了每百万 token 输入 0.2 美元、输出 1.2 美元,降幅 80%。Terra 降了 20%,Sol 则多了一个 2.5 倍速模式,价格翻倍但智力不变。

推荐理由:OpenAI 将 GPT-5.6 Luna 的输入输出价格分别降至每百万 token 0.2 美元和 1.2 美元,四个月内同等智力水平的调用成本降到原来的十三分之一。

7月24日星期五

Hacker News 首页

Echo 用开源模型拼出一个系统,号称性能追平 Fable 但成本只要三分之一

Echo 是 TracerML 做的一个实验性系统,它不单独用某一个模型,而是把 GLM-5.2、Kimi K2.7 等几个开源模型放在一个池子里,每次收到请求再决定调用哪几个模型、怎么组合它们的输出。作者先算了一个理论上限:如果每次都能事后挑出最佳模型组合,性能会远超任何单一模型。Echo 想在不提前知道答案的情况下逼近这个上限。

推荐理由:TracerML 把 GLM-5.2、Kimi K2.7 等多个开源模型放进池子,按请求动态决定调用组合,试图在不预知答案的前提下逼近事后选优的性能上限。

7月15日星期三

Hacker News 首页

在 13 年前的老至强 CPU 上跑 Gemma 4 26B 模型,每秒 5 个 token

作者把谷歌的 Gemma 4 26B 模型(一种混合专家模型,每次只激活部分参数)塞进了一台 2013 年的惠普存储服务器,双路至强 E5-2690 v2,没显卡,整机成本不到 300 美元。跑起来后生成速度约每秒 5.2 个 token,跟人阅读速度差不多。

推荐理由:作者在2013年的双路至强服务器上无显卡运行Gemma 4 26B混合专家模型,整机成本不到300美元,生成速度约每秒5.2个token,接近人的阅读速度。

7月14日星期二

Hacker News 首页

MemStitch:一个给 vLLM 用的零拷贝上下文桥接网关,多智能体场景下首 token 延迟最多降 25 倍

DaqulaLin 开源了 MemStitch,一个架在 vLLM 前面的网关。它利用 PagedAttention 直接在显存里拼接不同请求的 KV 缓存,让多智能体协作时不用反复做预填充,首 token 延迟最多能降 25 倍,显存占用也省了 40% 以上。不过正文没披露测试用的模型和 GPU 配置,25 倍这个数字先打个折看,等具体环境信息出来再说。

推荐理由:MemStitch 在 vLLM 显存层直接拼接不同请求的 KV 缓存,省去多智能体协作中的重复预填充,首 token 延迟最多降 25 倍、显存占用省四成以上。

7月9日星期四

Hacker News 首页

Colibrì:一个纯 C 引擎,让 744B 参数的 GLM 5.2 在 32GB 内存、无显卡的笔记本上跑起来

作者用一台 12 核、25GB 可用内存的笔记本,把 GLM 5.2 这个 7440 亿参数的大模型跑通了,没用到显卡。做法是把模型切成两块:注意力层、共享专家等约 170 亿参数的稠密部分,用 int4 量化后常驻内存,占大约 9.9GB。

推荐理由:作者把 GLM 5.2 的稠密部分做 int4 量化后常驻内存,其余路由专家留在硬盘按需加载,在无显卡的笔记本上跑通了这个 7440 亿参数模型。

7月7日星期二

AI HOT 精选

SGLang 接入 DSpark 推测解码:让草稿模型自己决定每次验证几个 token

LMSYS 把 DSpark 推测解码做进了 SGLang 推理引擎。和以前固定验证一整块 token 不同,DSpark 的草稿模型自带一个“信心打分器”,能算出每个 token 被主模型接受的概率,调度器再根据这个分数动态决定每轮实际验证几个 token——分数低的请求就少验几个,省下算力。

推荐理由:LMSYS 将 DSpark 接入 SGLang,按草稿模型的置信度缩短低接受概率请求的验证长度以节省算力。

7月5日星期日

Computing Life · Share · 鸭哥调研

Scaling Law 五年三次修正:从“把模型做大”到“把模型做小”

Scaling law 不是物理定律,是一条靠实验拟合出来的曲线,实验条件一变,结论就跟着变。2020 年 OpenAI 的 Kaplan 论文因为实验设置偏差,得出“优先堆参数”的结论,直接塑造了 GPT-3。

推荐理由:文章从实验设置偏差解释 OpenAI 的 Kaplan 论文为何优先堆参数,交代这一结论塑造 GPT-3 的研究背景。

6月30日星期二

Hacker News 首页

Moondream 用流水线解码挤掉 GPU 空闲气泡,解码吞吐量提升最高 35%

Moondream 的 Photon 推理引擎在 B200 上跑 VLM 能到 33 毫秒左右。瓶颈不在算力,在 GPU 气泡:每生成一个 token,GPU 都得等 CPU 做完记账、采样、调度这些杂活才能开始算下一个。

推荐理由:Moondream 的 Photon 引擎在 B200 上把 VLM 推理压到 33 毫秒左右,并指出瓶颈是每生成一个 token 时 GPU 等待 CPU 记账、采样和调度的空闲气泡。

Hacker News 首页

vLLM 搞了个 Micro-Agent:让多个模型在 API 内部组队干活,效果能超过单个顶尖模型

vLLM 的语义路由器现在不只是把请求分给最合适的模型,它还能让多个模型在背后协作,但对外只暴露一个模型名。用户照常调用 API,路由器会根据任务难度和预算,自动选择是先用便宜模型试试、让几个模型并行出结果再汇总,还是让模型互相审查。核心是把一次 API 调用变成一个受控的微型协作流程,有预算上限、执行拓扑和失败处理策略。

推荐理由:vLLM 把语义路由升级为模型协作引擎,一次 API 调用背后可按任务难度和预算自动选择先试便宜模型、并行汇总或互相审查,并配有失败处理策略。

6月19日星期五

Hacker News 首页

我重启了一台10年前的至强处理器174次,删掉12个启动参数,换来了每秒多跑4个token

作者把之前跑 Gemma 4 模型时用的那串25个启动参数,一个一个关掉做对比测试,看哪些真的有用。结果发现大部分参数都是摆设。真正影响速度的就三样:闪存注意力机制、物理核心线程数,以及按任务类型开关的投机解码。投机解码在写代码时能提速28%,但在总结长文档时反而拖慢54%,所以不能无脑开。

推荐理由:作者逐一关掉25个启动参数做对比测试,发现只有闪存注意力、物理核心数和投机解码影响速度,投机解码写代码提速28%、总结长文档反降54%。

6月14日星期日

r/LocalLLaMA

小米上线 MiMo V2.5,用 DFlash 和 Persistent Kernel 把推理速度拉到每秒 1000–3000 token

小米的 MiMo V2.5 模型已经对外服务,官方宣称推理速度达到每秒 1000 到 3000 个 token,靠的是 DFlash(一种加速注意力计算的机制)和 Persistent Kernel(让 GPU 核心持续干活不空转)。DFlash 的模型权重已经放出来了,开源代码也说很快会发。

推荐理由:小米将 MiMo V2.5 投入对外服务,推理速度达每秒 1000 到 3000 token,DFlash 权重已放出,开源代码承诺随后发布。

6月13日星期六

Hacker News 首页

我能买你的 KV 缓存吗?

现在每个 AI 智能体读同一份文档,都要从头算一遍最耗算力的“预填充”步骤,生成一份完全一样的 KV 缓存。这篇论文提了个很直接的方案:让内容发布方提前把文档的 KV 缓存算好,其他智能体直接花钱加载,跳过预填充。在 Qwen3-4B 上实测,复用缓存比重新预填充便宜 9 到 50 倍,而且输出的 token 完全一致,精度零损失。

推荐理由:论文提出由内容发布方预计算文档 KV 缓存供其他智能体付费加载,跳过预填充;在 Qwen3-4B 上复用缓存比重新预填充便宜 9 到 50 倍,输出 token 完全一致。

6月12日星期五

r/LocalLLaMA

MiniMax 开源 MSA 稀疏注意力:109B 模型处理百万 token 时注意力计算量砍掉 28.4 倍

MiniMax 发了一篇论文,提出一种叫 MSA 的稀疏注意力方法,专门解决超长上下文推理时注意力计算太贵的问题。它的做法是在 GQA(分组查询注意力)基础上加一个轻量的“索引分支”,先给每块 KV 缓存打分,每个查询组只挑分数最高的一小部分块,主分支再对这些挑出来的块做精确注意力计算。

推荐理由:MiniMax 提出 MSA 稀疏注意力方法,在 GQA 基础上用索引分支为 KV 缓存分块打分,只对高分块做精确注意力,论文给出 109B 模型处理百万 token 时注意力计算量减少 28.4 倍。

6月10日星期三

AI HOT 精选

OpenRouter 的 Advisor 工具页面 404 了,正文没披露任何细节

OpenRouter 原本要介绍一个叫 Advisor 的工具,让 GPT-4o Mini 这类便宜模型在生成过程中可以随时去问 Claude Fable 等更强模型。但博客页面直接返回 404,文章不存在。定价、延迟、路由策略这些关键信息全都没公开,目前只能看到标题和摘要里的概念,没法判断实际效果和成本。

推荐理由:OpenRouter 原计划推出 Advisor 工具,让 GPT-4o Mini 这类低成本模型在生成过程中调用 Claude Fable 等强模型,但博客页面返回 404,定价与路由策略均未公开。

r/LocalLLaMA

ICML 论文提出可预测幻觉的“回答-弃权”闸门,并开源 ntkMirror 免训练实现

这篇 ICML 2026 论文给证据型问答任务设计了一个 ISR=1 的闸门:模型在不确定时直接闭嘴不答,而不是硬编。他们同时放出了 ntkMirror,一个免训练的开源实现,能在本地模型上跑。做法是让模型对同一问题看多份不同排序的证据,如果几次回答不一致就弃权。在留出的审计集上,幻觉率压到了 0.0%–0.7%,代价是大约 24% 的问题被主动弃权。

推荐理由:ICML 论文为证据型问答设计弃权闸门,模型在多次证据排序下回答不一致时直接不答,配套开源免训练实现 ntkMirror,审计集上幻觉率降至 0.0%–0.7%,代价是约 24% 的问题被弃权。