跳到正文

#部署/工程

今日 11 条

5月4日星期一

r/LocalLLaMA

一台 5 年老笔记本跑通 35B 模型:6GB 显存 + CPU 混合推理,插电 23 token/秒

Reddit 用户 abhinand05 在一台 5 年前的华硕 ROG Zephyrus G14 上跑起了 Qwen3.6-35B-A3B 模型。这台笔记本只有 RTX 2060 Max-Q 6GB 显存,搭配 24GB DDR4 内存和 Ryzen 7 处理器。插电时生成速度约 23 token/秒,不插电掉到 10 token/秒出头。

推荐理由:Reddit 用户在一台 5 年前的 6GB 显存笔记本上跑通 35B 模型,插电约 23 token/秒,展示了 CPU 混合推理与显存受限场景下的可行组合。

r/LocalLLaMA

Intel 和 AMD 联手推 x64 新指令集 ACE,一次能算 1024 次乘法,但没硬件、没功耗、没发货时间

这篇帖子想讨论新的 x64 指令扩展能不能缓解 AI 硬件短缺,但 Reddit 原文被屏蔽了,看不到具体讨论。根据现有摘要,Intel 和 AMD 公布的 ACE 扩展用 2D 瓦片寄存器和外积算法,每时钟周期能做 1024 次乘法,对比现在 AVX 的 64 次,纸面吞吐量直接翻了 16 倍。

推荐理由:Intel 和 AMD 公布的 ACE 扩展用 2D 瓦片寄存器和外积算法,把每时钟周期乘法次数从 AVX 的 64 次提到 1024 次,但支持硬件尚未发布。

5月3日星期日

r/LocalLLaMA

论文称用低成本 FPGA 跑 Qwen3-30B-A3B Q4 推理,生成速度 18 t/s,量产成本预计 150 美元

这篇论文讲的是 Hummingbird+,用低成本 FPGA 跑大模型推理。他们拿 Qwen3-30B-A3B 的 Q4 量化版测试,生成速度能到每秒 18 个 token,板子带 24GB 显存,作者说量产的话成本能压到 150 美元左右。

推荐理由:论文提出 Hummingbird+,用低成本 FPGA 跑 Qwen3-30B-A3B 的 Q4 量化版,生成速度达每秒 18 个 token,板载 24GB 显存,作者预计量产成本约 150 美元。

新智元 · 公众号

Claude Code 让 Anthropic 两个月收入翻倍,成史上增长最快的 AI 公司

Semi Analysis 的报告说,Anthropic 的年化收入(ARR)已经冲到 440 亿美元,过去 12 个月净增了 350 亿。其中 Claude Code 这个编程助手到 2026 年 2 月,自己就贡献了 25 亿美元的年化收入。推理毛利率也从 38% 涨到了 70% 以上。

推荐理由:Semi Analysis 报告显示 Anthropic 年化收入达 440 亿美元,其中 Claude Code 贡献 25 亿,推理毛利率从 38% 升至 70% 以上,可了解编程助手在企业端的收入规模。

量子位 · 公众号

DeepSeek V4 技术报告里漏掉了 Engram,一个能明显拉高长文本记忆分数的查表模块

DeepSeek V4 的技术报告列了一堆新组件,但没提 Engram。这个模块是 DeepSeek 和北大在 1 月开源的,做法是在 Transformer 的第 2 到第 15 层之间插入查表模块。在 27B 规模的测试里,它把 MMLU 拉高了 3.4 分,多查询大海捞针准确率干到了 97.0%。

推荐理由:DeepSeek V4 技术报告未收录与北大 1 月开源的 Engram 查表模块,该模块在 27B 规模测试中把 MMLU 拉高 3.4 分,多查询大海捞针准确率达 97.0%。

r/LocalLLaMA

有人复现了 TurboQuant,结果跟论文对不上

一位 Reddit 用户自己实现了 TurboQuant 这篇 KV 缓存量化方法,发现 PROD 变体在 4-bit 下跟原始精度结果的相关性大约 95.8%,远低于论文宣称的 99% 以上。作者还做了一个简单模拟,注意力质量的 top-1 准确率掉到了 67% 左右,说明量化后模型在“该关注哪个 token”这件事上退化明显。

推荐理由:一位 Reddit 用户自行复现 TurboQuant 的 KV 缓存量化方法,测得 4-bit 下 PROD 变体与原始精度的相关性约 95.8%,低于论文宣称的 99% 以上。

r/LocalLLaMA

Reddit 网友用纯 C++17 手搓了一个 83 万参数的 Transformer,不用 PyTorch 也不用 BLAS,单核 CPU 训练 76 分钟

一个叫 Suspicious_Gap1121 的 Reddit 用户放出了 Quadtrix.cpp,一个用 C++17 从零写的 GPT 风格模型,总共 83 万参数。模型结构是 4 层、4 个注意力头、宽度 200 维,一次能看 128 个字符的上下文。

推荐理由:Reddit 用户用 C++17 从零实现 83 万参数的 GPT 风格模型,手写全部反传,单核 CPU 训练 76 分钟,省去 PyTorch 和 BLAS 依赖。

5月2日星期六

r/LocalLLaMA

有人在 Windows 上直接用 vLLM 跑 Qwen3.6-27B,单张 RTX 3090 跑到 72 tok/s

Reddit 用户 One_Slip1455 发了个原生 Windows 版 vLLM 启动器,不用 WSL 也不用 Docker。在一张 RTX 3090 上跑 Qwen3.6-27B(INT4 量化),短上下文能到 72 tok/s。

推荐理由:Reddit 用户发布原生 Windows 版 vLLM 启动器,无需 WSL 或 Docker,在单张 RTX 3090 上以 INT4 量化运行 Qwen3.6-27B,短上下文达到 72 tok/s。

量子位 · 公众号

腾讯混元开源 440MB 翻译模型,手机离线跑,自称翻译质量超谷歌

腾讯混元放出了一个叫 Hy-MT1.5-1.8B-1.25bit 的翻译模型,把原本 1.8B 参数的模型压到了 440MB,能在骁龙 888、8GB 内存的安卓手机上离线跑。它支持 33 种语言、1056 个翻译方向。压缩的关键是一种叫 Sherry 1.25 比特量化的技术,做法是每 4 个权重里,3 个用 1 比特存,1 个直接置零。

推荐理由:腾讯混元开源 1.8B 翻译模型,经 1.25 比特量化压到 440MB,可在骁龙 888 手机离线运行,覆盖 33 种语言和 1056 个翻译方向。

5月1日星期五

r/LocalLLaMA

PFlash:在 RTX 3090 上跑 128K 上下文,预填充比 llama.cpp 快 10 倍

PFlash 让 Qwen3.6-27B 的 Q4_K_M 量化模型在单张 RTX 3090 上处理 12.8 万 token 的输入时,首 token 延迟从 llama.cpp 冷启动的 248.4 秒压到 24.8 秒。做法是用一个 Qwen3-0.6B 小模型当“打分员”,挑出最重要的 5% 文本片段喂给大模型,省掉了大量无关计算。

推荐理由:PFlash 用 Qwen3-0.6B 小模型挑出 5% 关键片段喂给大模型,把 RTX 3090 上 12.8 万 token 输入的首 token 延迟从 248.4 秒降到 24.8 秒。

r/LocalLLaMA

OpenAI 隐私过滤器与 GLiNER 在 600 条 PII 样本上的实测对比

Reddit 上有用户拿 OpenAI 的隐私过滤器(privacy-filter)和 GLiNER large-v2.1 在 600 条含个人身份信息(PII)的样本上跑了一轮。纯 CPU 推理速度,OpenAI 模型每秒处理 2.8 条,GLiNER 是 1.1 条,前者快了一倍多。

推荐理由:Reddit 用户用 600 条含个人身份信息的样本,在纯 CPU 上对比 OpenAI 隐私过滤器与 GLiNER large-v2.1,前者每秒处理 2.8 条,后者 1.1 条。

r/LocalLLaMA

Reddit 网友用 16 台 DGX Spark 攒了个集群,跑通 434GB 大模型

Reddit 用户 Kurcide 晒出了他搭的 16 节点 DGX Spark 集群。每台机器用一根 QSFP56 线连到 FS N8510 交换机,单链路跑到 100–111 Gbps,总带宽约 200 Gbps,所有节点都跑满了线速。

推荐理由:Reddit 用户 Kurcide 用 16 台 DGX Spark 搭出集群,每台经 QSFP56 连交换机跑满线速,并在 8 节点上跑通 434GB 模型,提供了本地多机推理的实测配置参考。

FT · 科技

华为 AI 芯片在中国大卖,英伟达却卡住了

这篇是付费墙后面的文章,正文没披露具体订单金额、芯片型号和交付时间。从标题看,核心信息是华为接到了国内科技公司的大笔 AI 处理器订单,而英伟达因为出口管制在中国市场动弹不得。这背后反映的是中国算力供应链正在被迫转向国产替代,但文章本身没给出更多细节来支撑这个判断,先别太激动。

推荐理由:华为拿下国内科技公司大笔 AI 处理器订单,英伟达则因出口管制在中国市场受阻,两条线索并置呈现国产算力供应链的转向。

r/LocalLLaMA

32 块 AMD MI50 老卡跑 Kimi K2.6 模型,生成速度 9.7 token/秒

Reddit 用户 ai-infos 用 32 块 AMD MI50 32GB 显卡(分两台机器,每台 16 卡,走 10G 网线)跑 Kimi K2.6 的 int4 量化版。处理 1.4 万多字的输入时,预处理速度能到 264 token/秒;生成 136 个字的回答时,速度掉到 9.7 token/秒。

推荐理由:Reddit 用户用 32 块二手 AMD MI50 32GB 显卡分两台机器跑 Kimi K2.6 的 int4 量化版,实测预处理 264 token/秒、生成 9.7 token/秒,为低成本自建推理集群留下一组硬件与网络配置数据。

r/LocalLLaMA

Qwen3.6-27B 在单张 RTX 3090 上跑到 21.8 万上下文,工具调用也稳了

一位 Reddit 用户用一张 24GB 显存的 RTX 3090 跑 Qwen3.6-27B(一个 270 亿参数的模型),把上下文窗口推到了约 21.8 万个 token,生成速度在每秒 50 到 66 个 token 之间。

推荐理由:一位 Reddit 用户用单张 24GB 的 RTX 3090 把 Qwen3.6-27B 的上下文推到约 21.8 万 token,生成速度每秒 50 到 66 个 token,并修复了工具调用的显存溢出问题。

r/LocalLLaMA

RTX 5080 16GB 跑长上下文编程:Qwen3.6-35B-A3B 在 128K 窗口下稳在 30 t/s,刚启动时能到 89 t/s

一位 Reddit 用户用 RTX 5080 16GB 显卡本地跑编程 agent,测了 Qwen3.6-35B-A3B 这个 MoE 模型(总参数 35B,每次激活 3B)。刚加载完上下文时速度有 89 t/s,等上下文塞满到 128K token 后,生成速度还能维持在 30 t/s,而且回复质量没掉。

推荐理由:Reddit 用户用 RTX 5080 16GB 本地跑 Qwen3.6-35B-A3B 编程 agent,128K 上下文下生成速度仍保持 30 t/s,刚加载完为 89 t/s。

NVIDIA 博客

NVIDIA 说 OpenClaw 开源智能体项目 60 天拿了 25 万星,但治理成本才是真问题

NVIDIA 这篇博客主要讲了两件事:一是 Peter Steinberger 做的自托管持久化智能体 OpenClaw 在 GitHub 上火了,到 2026 年 3 月已经攒了 25 万颗星,增速超过了 React。二是 NVIDIA 自己推出了 NemoClaw,用 OpenShell 沙箱和 Nemotron 模型来跑智能体。

推荐理由:OpenClaw 自托管智能体 60 天在 GitHub 攒下 25 万星,增速超过 React,NVIDIA 借此讨论常驻智能体的 token 成本与安全边界。

The Verge · AI

马斯克在法庭上承认 xAI 用 OpenAI 的模型训练了 Grok

马斯克在加州联邦法院作证时,承认 xAI“部分”使用了 OpenAI 的模型来改进自家聊天机器人 Grok。用的方法是模型蒸馏,也就是让一个更聪明的大模型当老师,把知识“教”给一个更小、更省钱的模型。不过报道没说他具体用了 OpenAI 的哪个模型、喂了多少数据、跑了多少次训练。这点先别太激动,正文没披露细节,没法判断这到底是一次常规操作还是越界行为。

推荐理由:马斯克在加州联邦法院作证时承认,xAI 部分借助 OpenAI 模型以蒸馏方式改进 Grok,这条的价值在于呈现两家公司之间模型使用关系的具体背景。

4月30日星期四

claude.dev 开发者博客

Claude Code 构建经验:如何围绕提示词缓存设计智能体

Claude Code 团队分享提示词缓存的工程经验,通过保持请求前缀稳定来降低长会话智能体的延迟与成本。具体做法包括静态内容前置、通过消息更新状态、避免会话中切换模型或增删工具,以及用 defer_loading 延迟加载工具。上下文压缩时复用原会话的系统提示词、工具定义和历史消息,再追加压缩请求以命中缓存;团队也监控缓存命中率,并将异常下降视为事故。

推荐理由:Claude Code 团队把缓存前缀稳定性落实到提示词排序、工具加载和上下文压缩,为长会话智能体提供可迁移的缓存优化方法。

Latent Space

推理算力到了爆发点:CPU 不够用,GPU 也在被拆着用

Latent Space 这期把近期几条线索串了起来:AI 的推理(inference)需求正在急剧膨胀。黄仁勋在 GTC 上说,过去两年单次任务的算力消耗涨了约 1 万倍,总用量涨了约 100 倍,他管这叫“推理拐点”。

推荐理由:黄仁勋在 GTC 给出单次任务算力两年涨约 1 万倍、总用量涨约 100 倍的数据,Latent Space 由此串起推理需求膨胀与 CPU 沙箱、智能体调度等实际负载的关联。

彭博科技

三星芯片部门利润暴增 48 倍,全靠 AI 数据中心抢内存

三星电子芯片部门在 2026 年第一季度利润同比翻了 48 倍,创下历史新高并超出市场预期。这波增长直接来自 AI 数据中心对内存的疯狂采购,导致供应紧张。不过正文没披露具体的利润金额、是哪种内存(比如 HBM 还是普通 DRAM)以及主要客户是谁。

推荐理由:三星电子芯片部门一季度利润同比翻了48倍,增长直接来自AI数据中心对内存的采购,供应随之收紧。

r/LocalLLaMA

用 Kokoro 82M 和 Qwen 在本地把 PDF 转成有声书

Reddit 用户 purellmagents 搭了一套完全跑在本地的 PDF 转有声书流程,用 Kokoro 82M 做语音合成,Qwen 3.5 0.8B 或 2B 处理文本,llama.cpp 做推理,整个应用用 Tauri 2.0 打包,在 M1 Mac 上运行。工作方式是先读前 15 句,边读边准备下 15 句,减少等待。

推荐理由:Reddit 用户用 Kokoro 82M、Qwen 和 llama.cpp 在 M1 Mac 上搭出完全本地的 PDF 转有声书流程,边读前 15 句边准备下 15 句的做法提供了一种降低等待的本地推理组织思路。

Dwarkesh Patel 播客

Reiner Pope 黑板讲座:大模型训练和推理背后的数学账本

Dwarkesh 把采访间改成了黑板教室,请来芯片公司 MatX 的 CEO Reiner Pope,用公式和粉笔把大模型从训练到服务的成本结构拆了一遍。讲座从批处理大小讲起:没有批处理,服务成本会直接差出 1000 倍,这也是为什么各家 API 定价和快速模式差价巨大的根源。

推荐理由:MatX 的 CEO Reiner Pope 用公式和粉笔拆解大模型从训练到服务的成本结构,其中批处理对服务经济性的影响达到 1000 倍量级。

4月29日星期三

新智元 · 公众号

谷歌翻译 20 岁,劈柴哥说它换了四代 AI,现在能直接听懂语气了

劈柴哥发帖庆祝谷歌翻译上线 20 年,月活用户到了 10 亿。他梳理了背后的四代技术:最早是统计机器翻译,2016 年换成神经网络翻译,后来用上 PaLM 2 大模型,2024 年一口气加了 110 种语言。最新的是 Gemini 2.5 Flash 的原生音频翻译,不再先把语音转文字再翻译,而是直接处理声音,能保留原话的语调、停顿和节奏。

推荐理由:谷歌翻译上线 20 年,劈柴哥梳理其从统计机器翻译到 Gemini 2.5 Flash 原生音频翻译的四代技术更替,最新方案直接处理声音以保留语调与节奏。

FT · 科技

OpenAI 那个 5000 亿美元的 Stargate 数据中心计划,已经变了好几次样

这篇 FT 文章正文被付费墙挡住了,只看到标题和摘要片段。从现有信息看,Sam Altman 在基础设施上搞得很灵活,这种灵活让合作伙伴不太踏实,但确实帮 OpenAI 在算力上跑到了前面。至于 Stargate 具体怎么变了、现在是什么结构、有哪些合作方、时间表怎么排,正文没披露,没法细说。

推荐理由:OpenAI 的 Stargate 数据中心计划多次调整形态,Sam Altman 在基础设施上的灵活让合作方不安,也帮助 OpenAI 在算力上取得领先。

r/LocalLLaMA

双卡 RTX 5060 Ti 16GB 跑通 Qwen3.6 27B,vLLM 下跑到约 60 tok/s,支持 204K 上下文

一位用户用两张 RTX 5060 Ti 16GB 显卡,通过 vLLM 部署了 Qwen3.6 27B 模型。实测在 8K 上下文时生成速度约 62–66 tok/s,两张卡共占用 32GB 显存。配置上开了张量并行(TP=2)、fp8 KV 缓存、多 token 预测(MTP 一次猜 3 个 token),并把上下文窗口拉到了 204800。

推荐理由:一位用户用两张 RTX 5060 Ti 16GB 通过 vLLM 部署 Qwen3.6 27B,实测 8K 上下文生成约 62–66 tok/s,并列出张量并行、fp8 KV 缓存与 MTP 等具体配置。

X · @dotey(宝玉)

微软开源语音模型 VibeVoice-ASR 实测:一小时播客 8 分 45 秒转完,但 32GB 内存的 Mac 跑不动

Simon Willison 在 128GB 内存的 M5 Max MacBook Pro 上跑了社区做的 4-bit 量化版 VibeVoice-ASR,模型大小 5.71GB。转写一小时播客用了 8 分 45 秒,prefill 阶段内存峰值冲到 61.5GB,生成阶段稳定在 18GB 左右,所以普通 32GB 笔电基本没戏。

推荐理由:Simon Willison 在 128GB 内存的 M5 Max 上实测微软开源的 VibeVoice-ASR,转写一小时播客耗时 8 分 45 秒,prefill 阶段内存峰值达 61.5GB,为本地部署提供了硬件门槛参考。

Computing Life · Share · 鸭哥调研

DeepSeek V4 技术解读:为 Agent 长任务做的工程取舍

这篇文章把 DeepSeek V4 的技术报告翻译成了人话,核心就讲一件事:为了让模型能稳定地跑完一个长链条的 Agent 任务(比如改代码、调工具、看日志反复几十轮),V4 在架构上做了哪些又贵又复杂的工程决策。文章拆解了三个主要矛盾。

推荐理由:文章把 DeepSeek V4 技术报告拆解为面向 Agent 长任务的工程取舍,梳理混合注意力等架构决策在长链条任务中的权衡逻辑。

Sinocism · 比尔·毕晓普

政治局四月会议提“AI+”全面落地,Manus 收购被叫停后 Meta 准备认赔拆伙

政治局四月会议读完通稿,没看到新刺激政策,但“AI+”从口号变成“全面实施”,还点名要发展智能经济新形态、完善 AI 治理。算力网被列入和水网、电网并列的六大基础设施,信号很明确:以后建算力会像修路修电网一样推。同时会议专门提了“深入整治内卷式竞争”,去年四月通稿里没这句,说明上面要对价格战和重复建设下更重的手。

推荐理由:政治局四月会议将算力网列入水网电网同级的六大基础设施,并把“AI+”从口号改为全面实施,同时新增整治内卷式竞争的表述。

r/LocalLLaMA

小米放出 MiMo-V2.5:3100 亿总参数,每次只激活 150 亿的稀疏 MoE 模型

Reddit 上有人贴了小米 MiMo-V2.5 的 Hugging Face 链接,不是 Pro 版。架构是稀疏 MoE,总参数量 310B,每次推理只激活 15B 参数,相当于用 150 亿参数模型的计算量去撬动一个 3100 亿参数的知识容量。

推荐理由:小米在 Hugging Face 放出非 Pro 版 MiMo-V2.5,采用稀疏 MoE 架构,310B 总参数每次推理只激活 15B,以较小计算量调用大参数容量的设计思路。

4月28日星期二

机器之心 · 公众号

华为泰勒实验室等提出 SHAPE,给大模型推理加一道“推理税”,答得更准还能少写废话

华为泰勒实验室、北大和上海财大在 ACL 2026 发了一篇论文,提出 SHAPE 方法,核心思路是给模型的长篇推理加一道“推理税”。具体做法是:先用熵值把推理过程切成段,再用短距离试探估算每段的潜力,然后对后期又长又没带来实质进展的段落做动态长度打折,最后把奖励分配到每个 token 上。

推荐理由:华为泰勒实验室等提出 SHAPE,用熵值分段和短距离试探估算各段潜力,对后期冗长段落做长度打折,让模型在数学题上答得更准、输出更短。

Latent Space

Applied Intuition 十年做成 150 亿美元估值,他们想把所有会动的机器都塞进同一个 AI 操作系统

Applied Intuition 的 CEO 和 CTO 聊了他们从 YC 时期的自动驾驶工具链,一路做到估值 150 亿美元实体 AI 公司的完整路径。公司现在有 30 多款产品,全球非中国车企前 20 名里 18 家是他们的客户,L4 级无人卡车已经在日本跑起来了。

推荐理由:Applied Intuition 的 CEO 和 CTO 复盘了从 YC 时期自动驾驶工具链到 150 亿美元估值实体 AI 公司的路径,并给出 30 多款产品、18 家全球前 20 非中国车企客户和日本 L4 无人卡车的落地情况。

4月27日星期一

Hacker News 首页

Utilyze 开源 GPU 监控工具,说比 nvtop 更准,能看出显卡是真忙还是在摸鱼

Systalyze 开源了一个叫 Utilyze 的 GPU 监控工具,专门解决 nvidia-smi 和 nvtop 那个老毛病:它们只告诉你显卡“有没有在干活”,不告诉你“干得有多满”。比如 H100 有 132 个流式多处理器、一万七千多个核,但只要有一个核在跑,利用率就敢报 100%,实际算力可能才用了 1%。

推荐理由:Utilyze 针对 nvidia-smi 和 nvtop 只报二值占用的老问题,改用有效计算效率衡量 GPU 负载,H100 单核运行即报 100% 的场景由此有了更贴近真实算力的读数。

Hacker News 首页

在万米高空断网跑大模型:M5 Max 撑了 10 小时,但一根充电线让我亏了 34W 供电

作者在伦敦飞拉斯维加斯的 10 小时航班上,用一台顶配 MacBook Pro M5 Max(128GB 统一内存、40 核 GPU)离线跑了 Gemma 4 31B 和 Qwen 4.6 36B 两个本地模型。他主要用 DuckDB 搭了个云账单分析工具,还处理了约 400 万 token 的零散编码任务。

推荐理由:作者在10小时航班上用顶配MacBook Pro M5 Max离线运行两个本地大模型,并记录下不同充电线导致60W与94W供电差异对推理的影响。

Mistral AI

Mistral AI 发布 Workflows 公开预览版

Mistral AI 发布企业 AI 编排层 Workflows 公开预览版,提供持久化执行、可观测性和人工介入审批能力,ASML、ABANCA、CMA-CGM 等客户已用于自动化关键流程。

推荐理由:Mistral AI 将企业 AI 编排层 Workflows 开放公开预览,ASML、ABANCA 等客户已用它自动化关键流程,材料展示了持久化执行、可观测性与人工审批在货运放行、KYC 审核中的落地方式。

Hacker News 首页

现在用 AI 可能比雇人还贵

Axios 报道,一些公司的 AI 算力开销已经超过了员工工资。英伟达高管 Bryan Catanzaro 说,他团队的算力成本远高于人力成本;Uber 的 CTO 则因为 token 消耗太快,已经花光了 2026 全年的 AI 预算。Gartner 预测今年全球 IT 支出会涨到 6.31 万亿美元,主要就是被 AI 基建、软件和云服务推高的。

推荐理由:英伟达高管称团队算力成本远超人力,Uber 的 CTO 因 token 消耗过快花光 2026 全年 AI 预算,AI 账单超过工资单的迹象已在具体公司出现。

量子位 · 公众号

DeepSeek V4 永久降价,缓存命中再打一折,实测编程成本降了 83%

DeepSeek V4 两天内连续降价,输入和输出价格直接砍掉 75%,缓存命中的输入还能再打一折。量子位的编程实测里,处理 3500 万 token 的成本从 31.73 元掉到 5.34 元,降了 83%。这个价格对缓存命中率高的场景最划算,V4-Pro 的缓存命中率大概在 95% 到 96%。

推荐理由:DeepSeek V4 两天内两次调价,输入输出价格降 75%,缓存命中输入再降九成,量子位实测编程成本从 31.73 元降至 5.34 元。

Hacker News 首页

TurboQuant 走读:把 AI 向量压到每个数 2–4 比特,还不怎么掉精度

这篇交互式文章把 TurboQuant 的核心思路拆了一遍。它要解决的是怎么把模型里的高维向量(比如 KV 缓存、嵌入向量)压到每个坐标只占 2 到 4 个比特。做法很取巧:先给向量随机转个方向,转完之后每个坐标的数值分布就固定了,近似一个钟形曲线。接着用一套提前算好的通用码本去套所有输入,省掉了给每组数据单独算缩放因子的开销,也不需要训练或校准。

推荐理由:TurboQuant 把高维向量压到每坐标 2 至 4 比特,靠随机旋转固定坐标分布并用通用码本免去逐组缩放,无需训练或校准。

4月26日星期日

Hacker News 首页

DeepSeek-V4 发布当天,SGLang 和 Miles 就接好了推理和 RL 训练

SGLang 和 Miles 团队在 DeepSeek-V4 发布当天就完成了推理和强化学习训练的适配,覆盖了 1.6T 参数的 Pro 版和 284B 参数的 Flash 版。V4 模型用了混合稀疏注意力,把滑动窗口和两种 KV 压缩(4:1 或 128:1)混在一起,撑住了 100 万 token 的上下文窗口,专家权重还用了 FP4 精度。

推荐理由:SGLang 和 Miles 在 DeepSeek-V4 发布当天完成推理与强化学习训练适配,覆盖 1.6T 参数 Pro 版和 284B 参数 Flash 版,并披露混合稀疏注意力与 FP4 专家权重等部署细节。

4月25日星期六

Latent Space

DeepSeek 发布 V4 Pro 和 Flash 模型,能在华为昇腾芯片上跑

DeepSeek 终于发了 V4 系列,一共两个型号:V4 Pro 总参数 1.6 万亿,每次激活 490 亿;V4 Flash 总参数 2840 亿,激活 130 亿。两个模型都支持 100 万 token 的上下文,用了新的压缩注意力技术,相比 V3.2,处理长文本时计算量只要 27%,显存占用只要 10%。

推荐理由:DeepSeek 发布 V4 Pro 与 V4 Flash,均支持 100 万 token 上下文,长文本计算量降至 V3.2 的 27%,并可在华为昇腾芯片上运行。