跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

609 条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 301–320 条 · 共 609 条

5月26日星期二

AI HOT 精选

OpenAI 被曝下月发 GPT-5.6,上下文窗口拉到 150 万 token

开发者在 OpenAI Codex 的后台日志里挖出了一个叫 iris-alpha 的未公开模型,对应 GPT-5.6,可能 6 月发布。最直观的变化是上下文窗口涨到 150 万 token,比现在 GPT-5.5 API 的 105 万多出约 43%。

推荐理由:开发者从 OpenAI Codex 后台日志挖出未公开模型 iris-alpha,对应 GPT-5.6,其上下文窗口达 150 万 token,比 GPT-5.5 API 的 105 万高出约 43%。

AI HOT 精选

苹果被曝用定制版 1.2 万亿参数谷歌模型改造 Siri,简单问题仍跑本地

爆料说苹果下一代 Siri 的核心换成了一个定制的谷歌大模型,参数规模 1.2 万亿,比大家猜的 Gemini 3.5 Flash(约 3000 亿参数)大好几倍。复杂任务会交给这个大模型,简单查询还是留在手机上跑。苹果现在最头疼的是日常问题的响应速度,大模型再聪明,回慢了也没人用。

推荐理由:苹果下一代 Siri 被曝采用定制谷歌大模型,1.2 万亿参数远超外界猜测的约 3000 亿,复杂任务走云端、简单查询留在本地,这一分工是理解其架构的关键。

5月25日星期一

r/LocalLLaMA

RTPurbo:用几百步训练把全注意力模型转成稀疏推理,长上下文预填充快 9.36 倍

这篇论文提出 RTPurbo,能把原本用全注意力的模型改成稀疏注意力来跑推理,而且只需要几百步训练。做法是只给“检索头”保留完整的 KV 缓存,其他头用一个 16 维的 token 索引器来近似,相当于大幅压缩了要存要算的内容。在 100 万 token 的长上下文场景下,预填充阶段最高快了 9.36 倍,解码阶段快了约 2.01 倍。

推荐理由:RTPurbo 把全注意力模型改成稀疏推理,只给检索头保留完整 KV 缓存,其余头用 16 维索引器近似,几百步训练即可完成,在 100 万 token 场景下预填充最高快 9.36 倍。

量子位 · 公众号

Reasonix 给 DeepSeek V4 加了个缓存层,长代码任务里缓存命中率 99.82%,成本打到两折

正文页面被微信环境验证挡住了,看不到具体技术细节。从标题和摘要看,Reasonix 这个工具用了一种“只追加不修改”的循环机制来给 DeepSeek V4 做缓存。在长代码会话场景里,缓存命中率报到了 99.82%,相当于模型每次生成新内容时,前面绝大部分上下文都不用重复计算。

推荐理由:Reasonix 用只追加不修改的循环机制为 DeepSeek V4 做缓存,长代码会话中缓存命中率达 99.82%,成本降至两折。

Hacker News 首页

AI 芯片成本结构变了:内存开销已占到近三分之二

Epoch AI 估算,从 2024 年第一季度到 2025 年第四季度,高带宽内存(HBM)在 AI 芯片物料成本里的占比从 52% 涨到了 63%。这个数字是拿英伟达、AMD、谷歌和亚马逊四家的 AI 芯片按出货量加权平均算出来的。同期逻辑芯片的成本占比基本没动,在 13% 左右。

推荐理由:Epoch AI 估算,2024 年第一季度到 2025 年第四季度,高带宽内存占 AI 芯片物料成本的比例从 52% 升至 63%,同期逻辑芯片稳定在 13% 左右。

5月24日星期日

r/LocalLLaMA

OpenBMB 在华为昇腾 NPU 上把大模型从头训成 1.58-bit,8B 模型性能保住全精度 97%

OpenBMB 放出了 BitCPM-CANN,一个在华为昇腾 NPU 上原生跑通的 1.58-bit(三值)大模型训练方案。他们用和 MiniCPM4 一样的架构与数据,从零训了 0.5B、1B、3B、8B 四个尺寸。

推荐理由:OpenBMB 在华为昇腾 NPU 上从零训练了 0.5B 到 8B 四个 1.58-bit 三值模型,8B 性能保留全精度的 97%,训练阶段即完成极低比特压缩。

r/LocalLLaMA

KV 缓存量化对模型伤害不大,权重量化才是大头:Qwen3.6 27B 的一次小测试

Reddit 用户 hopbel 拿 Qwen3.6 27B 在 wikitext-2 上跑了一组 16k 上下文的近似 KLD 测试,想看看 KV 缓存量化和模型权重量化哪个更影响输出质量。他用 Q5_K_M 权重当基准,对比了两组配置:一组是 Q5_K_S 权重配 q4_0 的 KV 缓存,KLD 分数 0.016304。

推荐理由:Reddit 用户 hopbel 用 Qwen3.6 27B 在 wikitext-2 上做 16k 上下文近似 KLD 测试,对比 KV 缓存量化与权重量化对输出质量的影响,为本地部署的量化取舍提供一组一手数据。

5月23日星期六

机器之心 · 公众号

FlashAR 用 0.05% 的训练数据,把自回归图像模型的生成速度提了 22.9 倍

浙大和阿德莱德大学搞了个 FlashAR,专门给预训练好的自回归图像模型加速。拿 Emu3.5-Image-34B 试了一下,生成一张 512×512 的图,原来要 130.10 秒,现在只要 5.68 秒,快了 22.9 倍。而且只用了原始训练数据量的 0.05% 做微调,GenEval 分数从 80.48 变成 80.29,画质基本没掉。

推荐理由:浙大与阿德莱德大学提出 FlashAR,仅用原始训练数据 0.05% 微调,就把 Emu3.5-Image-34B 生成 512×512 图像从 130.10 秒压缩到 5.68 秒。

机器之心 · 公众号

Bengio 团队新论文:用多条并行思路链做递归推理,效果比单条串行推理好

这篇论文提出了 GRAM,一个会生成多条内部推理轨迹、再从中挑出最优解的递归模型。在极难数独测试上,GRAM 用 16 步递归、同时跑 20 条并行思路,准确率达到 97.0%;作为对比,传统串行递归模型 TRM 要跑到 320 步才做到 90.5%。简单说,就是让模型多想几条路再选,比闷头一条路走到黑更靠谱,而且推理步数还少得多。

推荐理由:Bengio 团队提出 GRAM,让模型并行生成多条推理轨迹再选最优解,在极难数独上用 16 步递归达到 97.0% 准确率,而串行模型需 320 步才到 90.5%。

Mistral AI

Mistral 收购 Physics AI 公司 Emmi AI

Mistral AI 宣布已达成收购 Physics AI 先驱 Emmi AI 的最终协议,以强化其作为工业企业 AI 转型伙伴的定位。Emmi AI 成立于奥地利,专注物理 AI 与大型工程模型,可加速工程工作流、以实时仿真替代多日计算并构建数字孪生。Emmi 的联合创始人及 30 多名研究人员和工程师将于 5 月加入 Mistral 的 Science 与 Applied AI 团队。

推荐理由:Mistral 收购奥地利物理 AI 公司 Emmi AI,30 多名研究人员将于 5 月加入其科学与应用 AI 团队,补强工业仿真与数字孪生能力。

量子位 · 公众号

DeepSeek V4 继续打价格战,缓存输入每百万 token 只要两分五;宁德时代、京东、网易在谈投资,梁文锋说目标是通用人工智能

DeepSeek-V4-Pro 的 API 从 6 月 1 日起维持促销价,缓存输入每百万 token 收 0.025 元人民币,这个价格在同类模型里算很低了。彭博社的消息说 DeepSeek 正在谈一轮 700 亿人民币的融资,投前估值 450 亿美元,宁德时代、京东、网易都有意参与。创始人梁文锋对外表态,公司的目标还是通用人工智能(AGI)。

推荐理由:DeepSeek-V4-Pro 的 API 从 6 月 1 日起维持促销价,缓存输入每百万 token 收 0.025 元,同时彭博社称其正洽谈 700 亿人民币融资,投前估值 450 亿美元。

r/LocalLLaMA

club-rdna16:一个在 16GB AMD 显卡上实测本地大模型的仓库

这个仓库用一张 RX 6900 XT(16GB 显存)跑 llama.cpp,后端是 ROCm/HIP,专门验证 AMD 卡在本地跑大模型的实际表现。目前放出的一个亮点是 Qwen3.6 35B-A3B 这个 MoE 模型,用 q8 格式缓存 KV 状态,能稳定撑到 131k 上下文窗口。

推荐理由:作者公开了在 RX 6900 XT 上跑 llama.cpp 的测试仓库,其中 Qwen3.6 35B-A3B 以 q8 缓存 KV 状态可稳定撑到 131k 上下文,为 16GB AMD 显卡的本地部署留下一份实测配置参考。

AI HOT 精选

黄仁勋说 AI 基建年开支会冲到 4 万亿美元,比华尔街共识高了四倍

黄仁勋在英伟达财报电话会上抛出一个数字:超大规模云厂商的 AI 基建年开支会从现在的 1 万亿美元涨到 3 到 4 万亿,CFO 给的时间线是 2030 年前。华尔街分析师原本的共识是 2028 年才到 1.03 万亿,老黄直接翻了四倍。

推荐理由:黄仁勋在英伟达财报电话会上把超大规模云厂商的 AI 基建年开支预测推到 3 到 4 万亿美元,而华尔街共识是 2028 年才到 1.03 万亿,两者相差约四倍。

AI HOT 精选

智能体工作负载正在改写推理成本账本

SemiAnalysis 扒了 43.2 万条真实编码智能体的请求记录,输入 token 的中位数不是大家常说的 3.2 万或 6.4 万,而是 9.6 万。这个量级意味着模型在接到你的问题之前,已经吞下了比《了不起的盖茨比》全书还长的上下文。正文没披露用了哪些模型、成本曲线、采样方式和统计时间窗口,所以这个数字先当个参考,别急着拿它算账。

推荐理由:SemiAnalysis 统计了 43.2 万条真实编码智能体请求,得出输入 token 中位数为 9.6 万,比常被引用的 3.2 万或 6.4 万高出一截,为讨论智能体推理成本提供了实测参照。

r/LocalLLaMA

llama.cpp 新分支让 MoE 模型在 12GB 显存上跑得更快,RTX 2060 上速度从 19/22 tk/s 提到 26 tk/s

comanderxv 给 llama.cpp 开了个叫“experts first”的分支,专门优化混合专家模型(MoE)的显存调度。

推荐理由:comanderxv 为 llama.cpp 新开 experts first 分支,优化 MoE 模型的显存调度,使 12GB 显存的老卡在 RTX 2060 上从 19/22 tk/s 提升到 26 tk/s。

5月22日星期五

Hacker News 首页

DeepSeek 把 V4 Pro 的 75 折促销变成永久降价了

DeepSeek 在定价页更新了一条脚注:V4 Pro 模型现在的 75 折优惠在 2026 年 5 月 31 日结束后,会直接变成正式价格,也就是原价的四分之一。具体来说,输入 token(没命中缓存)从每百万 1.74 美元降到 0.435 美元,输出 token 从 3.48 美元降到 0.87 美元。

推荐理由:DeepSeek 将 V4 Pro 的 75 折促销转为正式价,输入与输出 token 单价分别降至每百万 0.435 美元和 0.87 美元,开发者可据此核算调用成本。

Dwarkesh Patel 播客

从逻辑门到 AI 芯片:Reiner Pope 的芯片设计黑板课

MatX 的 CEO Reiner Pope 从最底层的与、或、非逻辑门讲起,一步步拆解 AI 芯片到底怎么工作。他先用一个 4 比特乘 4 比特、再用 8 比特累加的例子,演示了乘法累加(MAC)运算在电路里长什么样——这其实就是矩阵乘法的基本动作,AI 芯片绝大部分时间都在干这个。

推荐理由:MatX 的 CEO Reiner Pope 从与、或、非逻辑门讲起,用 4 比特乘 4 比特和 8 比特累加的例子演示乘法累加在电路中的形态,这是理解 AI 芯片矩阵乘法运算的基础。

Mistral AI

Mistral 在 Studio 发布 Connectors,支持内置与自定义 MCP

Mistral 在 Studio 发布 Connectors,所有内置连接器和自定义 MCP 现可通过 API/SDK 用于全部模型与智能体调用。新功能包括直接工具调用、human-in-the-loop 审批流程,以及对连接器的创建、修改、列出和删除等编程访问。

推荐理由:Mistral 把内置连接器和自定义 MCP 统一注册进 Studio,并给出创建、调用与人工审批的代码示例,展示企业集成层如何从各团队重复实现转为平台内一次配置。

AI HOT 精选

首个在华为昇腾910B上全栈训练的1.58比特开源模型BitCPM-CANN发布

ModelBest、清华和OpenBMB搞了个BitCPM-CANN,从0.5B到8B都有,全程用华为昇腾910B NPU训练,没走英伟达路线。1.58比特三元量化意味着每个权重只取三种值,内存比BF16省了约6倍,能塞进手机、电脑和车载设备里跑。基准测试成绩保住了全精度模型的95-97%,这点挺实在。

推荐理由:ModelBest、清华和OpenBMB发布BitCPM-CANN,全程用华为昇腾910B训练,1.58比特量化让内存比BF16省约6倍,基准成绩保住全精度模型的95-97%。

Latent Space

AI 基础设施又添独角兽:Exa、Modal、TurboPuffer 三家同时拿到大额融资

这期主要聊了三家 AI 基础设施公司的融资进展。TurboPuffer 先确认年经常性收入达到 1 亿美元并且已经盈利,这个数字说明做向量数据库的生意可以自己造血了。Exa 完成了 2.5 亿美元的 C 轮融资,估值 22 亿美元,他们做的是 AI 搜索引擎。

推荐理由:TurboPuffer 确认年经常性收入达 1 亿美元并已盈利,向量数据库这类基础能力已有客户持续付费,为判断同类基础设施公司的商业化路径提供了参照。