跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

609 条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 421–440 条 · 共 609 条

5月12日星期二

r/LocalLLaMA

把 prompt 缓存用到强化学习训练里:长提示短回复场景下,Qwen3.5-4B 训练速度提升 7.5 倍

作者提出在强化学习训练时复用 prompt 缓存,专门针对那种提示很长、模型回复很短的任务。在 Qwen3.5-4B 上跑 16k token 提示、64 token 回复的例子,训练速度直接快了 7.5 倍。

推荐理由:作者把推理阶段的 prompt 缓存思路搬进强化学习训练,针对长提示短回复任务复用重复 token 计算,在 Qwen3.5-4B 上跑 16k 提示、64 token 回复时训练速度提升 7.5 倍。

r/LocalLLaMA

Reddit 网友用英特尔傲腾持久内存攒了一台机器,本地跑 1 万亿参数模型,速度超过 4 token/秒

Reddit 用户 APFrisco 分享了一套硬件方案:用 768GB 英特尔傲腾持久内存(Optane PMem)当主存储,搭配 192GB DDR4 ECC 内存和一张 12GB 显存的 RTX 3060 显卡,通过 llama.cpp 的混合推理(CPU+GPU)。

推荐理由:Reddit 用户用 768GB 傲腾持久内存搭配 RTX 3060,在本地以超过 4 token/秒跑起 1 万亿参数模型,展示了 llama.cpp 混合推理在低成本硬件上的可行路径。

5月11日星期一

r/LocalLLaMA

ExLlamaV3 连续更新:DFlash 让编程吞吐量翻三倍,多款模型推理再提速

ExLlamaV3 最近几个版本更新挺猛。v0.0.31 引入 DFlash 后,编程任务的生成速度从每秒 59.21 个 token 直接拉到 177.67,翻了近三倍。v0.0.32 专门优化了五款模型,其中 Trinity-Nano 在 6000 Pro² 显卡上的速度提升了 72.4%。

推荐理由:ExLlamaV3 在 v0.0.31 引入 DFlash,把编程任务生成速度从每秒 59.21 个 token 提到 177.67,v0.0.32 又针对五款模型优化,Trinity-Nano 在 6000 Pro² 上提速 72.4%。

机器之心 · 公众号

ICML 2026 论文:PRISM 框架让扩散语言模型做推理时扩展不再烧算力

这篇 ICML 2026 的论文给扩散语言模型(dLLM)提出了一套叫 PRISM 的推理时扩展方法。它把搜索过程拆成三层:先让模型并行生成多条推理路径,再对每条路径局部“回退重写”不靠谱的步骤,最后用模型自己当裁判打分筛选。在数学题集 GSM8K 上,LLaDA-8B-Instruct 的准确率从 67.58% 拉到了 85.30%。

推荐理由:ICML 2026 论文提出 PRISM 框架,用并行生成、局部回退重写和自评分筛选三层搜索做推理时扩展,在 GSM8K 上把 LLaDA-8B-Instruct 准确率从 67.58% 提到 85.30%。

量子位 · 公众号

OpenAI 签下 750 兆瓦算力大单,芯片公司 Cerebras 趁势把 IPO 估值抬到 350 亿美元

Cerebras 把 IPO 发行价区间上调到每股 150 到 160 美元,按上限算估值约 350 亿美元。直接推手是 OpenAI 刚签了一份 750 兆瓦的 AI 算力采购协议,交付排到 2028 年。不过原文因为微信环境验证拦截,正文内容没抓到,具体合同金额、交付节奏和 Cerebras 的财务数据都没披露,这个估值能撑多久还得看后续招股书细节。

推荐理由:OpenAI 与 Cerebras 签下 750 兆瓦算力采购协议后,后者把 IPO 发行价区间上调至每股 150 到 160 美元,按上限对应约 350 亿美元估值,交付排到 2028 年。

量子位 · 公众号

马斯克申请 SpaceXAI 商标,要把 AI 算力搬上卫星

SpaceX 提交了 SpaceXAI 商标申请,覆盖的业务范围很广:卫星数据中心、轨道计算、AI 软件即服务、云存储、通信硬件,甚至还有社交网络。文章提到 xAI 已经通过全股交易成为 SpaceX 的子公司,并引用了一个 2500 亿美元的 xAI 估值。不过正文因为环境异常被屏蔽了,具体交易条款和商标申请细节都没披露,这个估值数字也先别太当真。

推荐理由:SpaceX 提交 SpaceXAI 商标申请,业务覆盖卫星数据中心、轨道计算与 AI 软件服务,xAI 已通过全股交易成为其子公司。

AI HOT 精选

Cerebras IPO 被抢爆,超额认购超 20 倍,发行价打算上调近三成

路透社的消息说,做 AI 芯片的 Cerebras 准备上市,结果被投资人抢疯了,超额认购超过 20 倍。公司一看这架势,打算把发行价从原来的 115-125 美元提到 150-160 美元,涨了快三成,发行股票数量也计划从 2800 万股加到 3000 万股,最多能融到 48 亿美元。这可能会是 2026 年到现在全球最大的一笔 IPO。

推荐理由:Cerebras 因 IPO 获超 20 倍超额认购,计划将发行价上调近三成并增发股票,最多融资 48 亿美元,这条消息给出了 AI 芯片一级市场认购热度的具体数字。

AI HOT 精选

本地 35B 模型扛下作者一半日常工作,响应速度是云端 Claude Opus 4.5 的两倍

作者用五周时间测了约 1400 个日常工作请求,发现本地跑的 Qwen 3.6 35B 这类模型能搞定其中一半,平均响应 2.8 秒,比云端 Claude Opus 4.5 的 5.8 秒快了 2.1 倍。像邮件草拟、日程安排、摘要和行政杂活这些任务,本地模型完全够用。

推荐理由:作者用五周约1400个日常请求测试本地35B模型,其中一半任务可完成,平均响应2.8秒,比云端Claude Opus 4.5的5.8秒快2.1倍。

r/LocalLLaMA

MTP 实测:写代码能加速 71%,写小说反而变慢 9%,任务类型决定投机推理是帮忙还是帮倒忙

一位 Reddit 用户用 Qwen 3.6 27B 的 MTP 量化模型跑了 300 多次测试,发现投机推理(让模型先猜后验证)的效果完全看任务类型。写代码时草稿被采纳的比例高达 79% 到 89%,用 F16 精度跑代码生成速度提升了 171%;但换成创意写作,Q4_K_M 量化下推理速度反而慢了 9%。

推荐理由:Reddit 用户用 Qwen 3.6 27B 的 MTP 量化模型跑了 300 多次测试,发现投机推理在写代码时草稿采纳率高达 79% 到 89%,换成创意写作反而慢 9%,任务类型直接决定加速还是拖慢。

5月10日星期日

r/LocalLLaMA

网友用一张 RTX PRO 6000 工作站显卡跑起了 DeepSeek V4 Pro

Reddit 用户 fairydreaming 发帖说,他在自己机器上跑通了 DeepSeek V4 Pro。用的是一块 RTX PRO 6000 Blackwell Max-Q 工作站显卡,搭配修改过的 llama.cpp CUDA 分支。模型文件是 Q4_K_M 量化版,体积 859GB。

推荐理由:Reddit 用户用一块 RTX PRO 6000 工作站显卡和修改版 llama.cpp 跑通 859GB 的 DeepSeek V4 Pro,为关注本地推理硬件门槛的读者提供了单卡运行大模型的具体配置参考。

r/LocalLLaMA

NVIDIA 发布 Star Elastic:一个模型文件能直接切出 30B、23B、12B 三种推理模型

NVIDIA 放出了一个叫 Star Elastic 的模型,一个检查点文件里包含了 30B、23B 和 12B 三个尺寸的推理模型,不用额外训练就能直接“切片”取用。具体玩法是让 23B 的子模型负责思考过程,30B 的模型负责给出最终答案。

推荐理由:NVIDIA 发布的 Star Elastic 让单个检查点无需额外训练即可切出 30B、23B、12B 三种推理模型,其中 23B 负责思考、30B 负责作答,为推理部署提供了一份权重按需取用的思路。

r/LocalLLaMA

BeeLlama.cpp:用 DFlash 和 TurboQuant 让 Qwen 3.6 27B 在单张 3090 上跑 20 万上下文,速度翻倍

Anbeeld 发了一个 llama.cpp 的分支 BeeLlama.cpp,主要加了 DFlash(一种省显存的注意力机制)和 TurboQuant(更快的量化方案),还支持推理和视觉任务。

推荐理由:Anbeeld 发布 llama.cpp 分支 BeeLlama.cpp,加入 DFlash 省显存注意力与 TurboQuant 量化,让 Qwen 3.6 27B 在单张 3090 上支持 20 万上下文并提速 2 至 3 倍。

5月9日星期六

AI HOT 精选

Redis 作者用几千行 C 代码把 DeepSeek V4 Flash 塞进 MacBook,跑出 27 tok/s

Antirez 开源了一个叫 ds4 的推理引擎,专门给 DeepSeek V4 Flash 用。代码只有几千行 C,能在 128GB 内存的 MacBook Pro 上跑 100 万 token 上下文的模型。他用了三招:对 MoE 专家做不对称 2-bit 量化来压缩模型体积;把 KV Cache 搬到高速 SSD 上,绕开内存不够的问题。

推荐理由:Antirez 开源的 ds4 用几千行 C 代码,在 128GB 内存的 MacBook Pro 上跑通 DeepSeek V4 Flash 的百万 token 上下文,其 MoE 专家 2-bit 量化与 KV Cache 落盘 SSD 的做法,为本地部署大模型提供了可迁移的工程思路。

r/LocalLLaMA

用 12GB 显存跑 Qwen3.6 35B A3B,llama.cpp MTP 实测跑到 80 tok/s、128K 上下文

Reddit 用户 janvitos 在 RTX 4070 Super(12GB 显存)上跑 Qwen3.6-35B-A3B-MTP-GGUF,搭配 llama.cpp 的一个 MTP 拉取请求。他贴出的实测数据是每秒 69.2 到 81.9 个 token,草稿接受率在 0.694 到 0.947 之间,上下文长度拉到 131072。

推荐理由:Reddit 用户 janvitos 在 12GB 显存的 RTX 4070 Super 上跑 Qwen3.6 35B A3B,贴出 69.2 到 81.9 tok/s 与 128K 上下文的实测配置。

AI HOT 精选

百度发了 ERNIE 5.1,参数量砍到原来的三分之一,训练费压到同规模模型的 6%

ERNIE 5.1 把总参数量压到原规模的大约三分之一,激活参数压到大约一半,预训练成本只花到同规模模型的 6% 左右。百度说性能没崩,Agent 能力超过 DeepSeek-V4-Pro,世界知识和创意写作接近头部闭源模型和 Gemini 3.1 Pro,推理仅次于 Gemini 3.1 Pro,深度搜索排全球第四。

推荐理由:百度发布 ERNIE 5.1,总参数量压到约三分之一、预训练成本降到同规模模型的 6%,并给出与 DeepSeek-V4-Pro、Gemini 3.1 Pro 的能力对比。

新智元 · 公众号

英伟达、AMD、英特尔罕见联手,给 RadixArk 投了 1 亿美元种子轮

RadixArk 在 5 月 5 号宣布拿了 1 亿美元种子轮,投后估值 4 亿美元。领投的是 Accel,Spark Capital 跟投,更少见的是英伟达、AMD、英特尔这三家芯片厂同时出现在投资人名单里,联发科和 Databricks 也参与了。

推荐理由:RadixArk 以 4 亿美元投后估值完成 1 亿美元种子轮,英伟达、AMD、英特尔三家芯片厂同时出现在投资人名单里,这一组合在 AI 基础设施融资中并不常见。

AI HOT 精选

DeepSeek 正以 500 亿美元估值融资 70 亿,创始人自己掏了 30 亿

DeepSeek 这轮最多要融 70 亿美元,估值 500 亿,是中国 AI 公司里单轮金额最高的一次。创始人梁文锋个人出了 30 亿,占这轮融资的 40%,融完后他手里还有公司 90% 的股份。DeepSeek 最早是从他自己的对冲基金里孵化出来的。

推荐理由:DeepSeek 本轮拟融资 70 亿美元、估值 500 亿,创始人梁文锋个人出资 30 亿并保留 90% 股份,创始人重注维持控制权的路径由此有了具体数字。

r/LocalLLaMA

单张 RTX 4090 跑 Qwen3.6-27B,262K 上下文冲到 80+ t/s

indrasmirror 用一张 RTX 4090 跑 Qwen3.6-27B-Heretic-v2,上下文拉到 262K token,搭配 TBQ4_0 格式的 KV 缓存和 MTP 推测解码(draft 3),生成速度从约 43 t/s 提到 80-87 t/s。MTP 草稿接受率大概 73%,说明模型对草稿的采纳比例不低,这是提速的关键。

推荐理由:indrasmirror 在单张 RTX 4090 上把 Qwen3.6-27B 的上下文拉到 262K,并用 MTP 推测解码把生成速度从约 43 t/s 提升到 80-87 t/s,草稿接受率约 73%。

The Verge · AI

AI 数据中心扩张引发全美争议:43% 美国人认为电费上涨要怪它们

The Verge 梳理了 AI 数据中心在全球引发的冲突。调查显示 43% 的美国人把电费上涨归咎于数据中心;犹他州一个占地 4 万英亩的项目不顾社区反对获批;Anthropic 宣布将在美国投入 500 亿美元建 AI 数据中心。

推荐理由:The Verge 汇总了 AI 数据中心在全球引发的冲突,其中民调显示 43% 的美国人将电费上涨归咎于数据中心,犹他州一个 4 万英亩项目在社区反对下获批。

彭博科技

Anthropic 跟 Akamai 签了 18 亿美元的算力合同

Anthropic 和 Akamai 达成了一笔 18 亿美元的计算资源交易,用来应对自家 AI 软件越来越大的算力需求。不过正文被付费墙挡住了,没披露具体买了多少算力、合同签了几年、以及这些服务器会部署在哪些地区。

推荐理由:Anthropic 与 Akamai 签下 18 亿美元算力合同,用于承接其 AI 软件持续增长的算力需求,Akamai 由此进入 AI 算力供应这一角色。