跳到正文

#部署/工程

今日 11 条

6月2日星期二

彭博科技

至少七所中国军工背景高校在采购记录中求购英伟达 H200 芯片

彭博翻了一批采购记录,发现至少七所跟中国军方和国防工业有联系的大学在求购英伟达 H200 芯片。H200 是英伟达目前性能很靠前的一块 AI 训练/推理卡,美国对它出口中国有管制。报道没写这些采购最终有没有成交、通过什么渠道拿货、数量有多少,只是点出了“有人在要”这个事实。

推荐理由:彭博从采购记录中发现至少七所与中国军方有关联的高校求购英伟达 H200,报道只确认了采购意向,未涉及成交与渠道,出口管制下算力需求的流向由此多了一个可查的观察面。

r/LocalLLaMA

英特尔在 Computex 2026 发布 Crescent Island GPU,最高 480GB 显存

英特尔在 Computex 2026 上推出了新显卡 Crescent Island,用的是 Arc Xe 3P 架构。最抓眼球的配置是最高能堆到 480GB 的 LPDDR5X 显存,这对想在本地跑大模型的人来说,意味着能塞进更大的模型,不用频繁地往硬盘里倒腾数据。整卡功耗标了个 350W 风冷,不算低,但还在单卡能压住的范围。

推荐理由:英特尔在 Computex 2026 推出 Crescent Island GPU,最高 480GB 的 LPDDR5X 显存让本地运行大模型时能容纳更大模型,减少频繁读取硬盘。

6月1日星期一

Latent Space

视频智能体是下一个方向:Ethan He 谈 xAI Grok Imagine 的三个月从零到一

Ethan He 在 NVIDIA 做完 Cosmos 世界模型后跳到了 xAI,带着一个小团队三个月就做出了 Grok Imagine。他有个很直接的观点:视频模型现在的智能主要来自语言模型,不是靠堆视频数据训练出来的。下一个 Sora 级别的突破不会是更好的视频生成模型,而是能规划、生成、修改、反复打磨一个完整创意任务的视频智能体。

推荐理由:xAI 的 Ethan He 带小团队三个月做出 Grok Imagine,并判断视频模型的智能主要来自语言模型,下一个突破在能规划、生成、修改完整创意任务的视频智能体。

AI HOT 精选

开源与闭源模型,正走在两条不同的增长曲线上

作者 Nathan Lambert 的核心判断是:在编程智能体这类对智商极度敏感的场景里,用户会一直为最聪明的闭源模型付高价,他自己就愿意每月掏 2000 美元。闭源实验室会逐渐把最好的模型藏起来,不在 API 里轻易放出,以保护利润和防止被蒸馏。

推荐理由:作者 Nathan Lambert 判断,编程智能体等场景的用户会持续为最聪明的闭源模型付高价,闭源实验室也会把最好的模型藏起来不轻易放出,这给出了一种开源与闭源走向分化的具体解释。

AI HOT 精选

OpenAI 在密歇根州动工开建 1GW 数据中心,属于 Stargate 计划

OpenAI 联合 Oracle 等伙伴,在密歇根州 Saline 市破土动工一个叫“The Barn”的数据中心园区,总供电容量 1GW。官方承诺电费不会转嫁给当地居民,冷却系统用的是闭环设计,耗水量跟一栋普通办公楼差不多。

推荐理由:OpenAI 联合 Oracle 等伙伴在密歇根州 Saline 动工 1GW 数据中心园区,官方称电费不转嫁当地居民,冷却采用闭环设计。

r/LocalLLaMA

网友在双 DGX Spark 上跑 DeepSeek V4 Flash:预填充 1680 token/s,解码 39.8 token/s

一位 Reddit 用户用两台华硕 GX10(DGX Spark)组了个小集群,通过 vLLM 加载 DeepSeek-V4-Flash 模型。在 256K 上下文窗口、开启多 token 预测(MTP=2)的设置下,测得预填充速度 1680 token/s,解码速度 39.8 token/s。

推荐理由:Reddit 用户用两台华硕 GX10 组成集群,在 256K 上下文下实测 DeepSeek-V4-Flash 的预填充与解码速度,并给出张量并行、RoCE 网络等完整配置。

AI HOT 精选

NVIDIA 发布 RTX Spark 本地 AI 电脑,1 petaflops 算力跑智能体,llama.cpp 优化让 Qwen 27B 吞吐翻倍

NVIDIA 在 Computex 上发了台叫 RTX Spark 的 Windows 电脑,专门在本地跑 AI 智能体。配置给得挺足:1 petaflops AI 算力、128GB 统一内存,意思是大模型不用来回倒腾显存。安全方面,他们和微软合作搞了个 OpenShell 运行时,用 Windows 新的安全接口把智能体锁在设备本地跑,数据不出机。

推荐理由:NVIDIA 在 Computex 发布 RTX Spark,用 1 petaflops 算力和 128GB 统一内存把大模型跑在本地,并与微软合作以 OpenShell 运行时将智能体限制在设备内。

AI HOT 精选

英伟达发布 PC 芯片,正式杀入 Windows 笔记本市场

英伟达推了一款面向 PC 的新芯片,要跟英特尔和 AMD 抢 Windows 笔记本的生意。不过这篇报道正文没披露具体规格、定价、上市时间,也没提 AI 算力指标,所以性能到底怎么样、卖多少钱、什么时候能买到,现在都还不清楚。

推荐理由:英伟达推出面向 PC 的新芯片,进入由英特尔和 AMD 主导的 Windows 笔记本处理器市场,这条消息可帮助读者了解该市场长期竞争格局可能面临的新变量。

r/LocalLLaMA

有人把英伟达 Parakeet 语音转文字模型移植到了 ggml,不再需要 Python,还能量化压缩

开发者 mudler_it 把英伟达的 Parakeet 语音转文字模型用 C++ 和 ggml 重写了一遍,彻底甩掉了 Python 和 PyTorch。他测试下来,在 f32 和 f16 精度下输出结果和原版 NeMo 逐字节一致,但速度更快,大一点的 TDT 和混合模型在 GPU 上能跑到大约 5 倍加速。

推荐理由:开发者用 C++ 和 ggml 重写了英伟达 Parakeet 语音转文字模型,去掉 Python 与 PyTorch 依赖,f32 和 f16 精度下输出与原版 NeMo 逐字节一致,GPU 上大模型约 5 倍加速。

5月31日星期日

AI HOT 精选

苹果 WWDC 要拿 Gemini 蒸馏出的小模型跑在 iPhone 上,复杂问题还是会甩给谷歌云

下个月 WWDC 苹果会展示 Siri 和端侧 AI 的升级,核心思路是把谷歌 Gemini 模型“蒸馏”成一个小号版本,直接在 iPhone 芯片上本地跑,主打隐私和省 token 费。但整个技术栈对外依赖很重:本地模型源自 Gemini 蒸馏,手机处理不了的复杂请求会路由到谷歌云,还用了英伟达的机密计算。

推荐理由:苹果将在 WWDC 展示把 Gemini 蒸馏成小模型在 iPhone 本地运行,复杂请求仍路由到谷歌云,技术栈对外依赖明显。

量子位 · 公众号

英伟达、微软、Arm 同发预告,传老黄自研 CPU 笔记本 N1X 要来了

三家公司在同一天发了同一张“PC 新纪元”的预告图,指向一台传闻中由英伟达主导设计的笔记本 N1X。目前流出的配置是 20 核 Arm 架构 CPU、Blackwell GPU、6144 个 CUDA 核心和 128GB LPDDR5X 统一内存,听起来像一台给 AI 开发者准备的移动工作站。

推荐理由:英伟达联合微软、Arm 同天发布 PC 新纪元预告,指向其主导设计的 N1X 笔记本,20 核 Arm CPU 与 128GB 统一内存的配置,为观察 Arm 架构进入高性能移动端提供了一份具体样本。

r/LocalLLaMA

我花 6400 美元搭了一台本地大模型服务器,一年下来比用 API 便宜了 700 多

作者晒了一台自组的本地大模型服务器,总花费 6406.45 美元,核心配置是 4 张 AMD MI100 显卡,主要跑 Qwen3.6 27B 模型。这台机器每天处理约 2040 万个输入 token 和 132 万个输出 token。

推荐理由:作者晒出自组本地大模型服务器的完整账单,4 张 AMD MI100 显卡加电费折旧共 6406.45 美元,按每天约 2040 万输入 token 的负载算出首年比调 API 省 700 多美元。

AI HOT 精选

NVIDIA 用 DynoSim 给推理部署做模拟器,一次能跑几千种配置,速度是实时的 1500 倍

NVIDIA 给自家推理服务框架 Dynamo 配了个仿真工具 DynoSim,用 Rust 写成。它把部署测试变成“先在虚拟时间线上模拟、再挑最好的上真机”的流程,不用一个个试。测试里它能跑到实时速度的 1500 倍,一次筛几千种配置。

推荐理由:NVIDIA 为推理框架 Dynamo 配套了 Rust 写的仿真工具 DynoSim,把部署配置筛选从真机逐个试改为虚拟时间线批量模拟,测试中达到实时速度的 1500 倍。

5月30日星期六

r/LocalLLaMA

把一块 RTX Pro 6000 塞进 2016 年的戴尔 R730 服务器,跑 65 万 token 上下文

作者想把一块最新的 RTX Pro 6000 Blackwell 显卡装进一台 2016 年的戴尔 PowerEdge R730 服务器里,目标是搭一台能跑 65 万 token 上下文的本地 AI 盒子。过程不顺利:先要切掉风扇导流罩才能把卡塞进去,接着用双 riser 卡解决供电,然后系统卡在 PCIe BAR 分配上,根本认不到全部显存。

推荐理由:作者尝试把 RTX Pro 6000 装进 2016 年的戴尔 R730 服务器,目标是跑 65 万 token 上下文,过程中遇到风扇导流罩、供电和 PCIe BAR 分配等硬件障碍。

AI HOT 精选

xAI 放弃 JAX GPU,改用自研 C 语言训练框架

SemiAnalysis 爆料 xAI 已经不用 JAX 在 NVIDIA GPU 上训练模型了,转而用 Grok Build 写了一套 C 语言训练框架。报道说 xAI 的 JAX 方案模型浮点利用率(MFU)不到 10%,这个数字很低,意味着大部分算力都浪费在调度和通信上,没真正花在训练上。

推荐理由:xAI 弃用 JAX 在 NVIDIA GPU 上的训练方案,改用 Grok Build 自研的 C 语言框架,原方案模型浮点利用率不到 10%。

机器之心 · 公众号

苹果搞了个叫 PICO 的图像压缩方案,画质不变,文件能小到三分之一

苹果发了篇论文介绍 PICO,一个用 AI 做图像压缩的编解码器。在主观画质差不多的情况下,它比 AV1、VVC 和 JPEG AI 省 57% 到 70% 的码率,也就是说文件体积能压到原来的三分之一甚至更少。在 iPhone 17 Pro Max 上跑,压一张 1200 万像素的照片要 230 毫秒,解压要 150 毫秒。

推荐理由:苹果论文介绍 PICO 图像编解码器,在主观画质相近时比 AV1、VVC 和 JPEG AI 省 57% 到 70% 码率,并在 iPhone 17 Pro Max 上给出端侧编解码耗时。

r/LocalLLaMA

网友实测 Gemma 4 和 Qwen 3.6 的 MTP 加速:vLLM 上推理速度提升 3.34 倍

一位老哥在 RTX PRO 6000 显卡上跑了 MTP(多 token 预测,一次猜好几个词来加速生成)的测试。他用 vLLM 跑 Gemma 4 31B 模型,开了 MTP 后速度从每秒 39.69 个 token 飙到 132.52 个,快了 3.34 倍。测试是跑 10 次、每次生成 1500 个 token 取的结果。

推荐理由:一位用户在 RTX PRO 6000 上用 vLLM 测试 Gemma 4 31B 开启 MTP 前后的推理速度,从每秒 39.69 个 token 提升到 132.52 个,给出具体硬件与框架下的实测数据。

AI HOT 精选

OpenAI 放出一个实时翻译语音模型,70 多种语言输入,13 种语言输出

OpenAI 发了 gpt-realtime-translate,一个专门做语音翻译的模型。你对着它说 70 多种语言里的任意一种,它能直接用 13 种目标语言把语音播出来。OpenAI 说大模型虽然强,但特定任务还是得上专用模型。目前这个功能已经在智能眼镜上跑起来了,不过正文没披露延迟、准确率和具体硬件细节。

推荐理由:OpenAI 发布专做语音翻译的 gpt-realtime-translate,支持 70 多种语言输入、13 种语言输出,并已落地智能眼镜,可了解专用模型在实时翻译场景的取舍。

TechCrunch · AI

Nvidia 刚花 200 亿美元变相收购人才,AI 芯片公司 Groq 又传出要内部融资 6.5 亿,重心从硬件转向推理

Axios 的消息说,Groq 正在寻求 6.5 亿美元的内部融资,同时公司方向会从造芯片转向主攻 AI 推理,也就是优化模型接到指令后生成回答的那一步。这个动作发生在 Nvidia 被曝用 200 亿美元做了一笔“非收购式挖人”之后。正文没披露 Groq 现在的估值、投资人是谁、交易结构,也没说这轮融资的时间表。

推荐理由:Groq 寻求 6.5 亿美元内部融资,同时把重心从造芯片转向 AI 推理,这一转向发生在 Nvidia 以 200 亿美元做非收购式挖人之后。

5月29日星期五

新智元 · 公众号

DeepSeek 三款模型冲进 OpenRouter 月榜前十,总消耗超 17 万亿 Token

OpenRouter 的月度统计显示,DeepSeek 有三款模型进了前十,加起来的 Token 消耗量超过 17 万亿。其中 V4 Flash 一个模型就占了 9.13 万亿 Token,用量很猛。

推荐理由:OpenRouter 月度统计显示 DeepSeek 三款模型进入前十,合计消耗超 17 万亿 Token,其中 V4 Flash 单款占 9.13 万亿,可了解国产模型在聚合平台上的实际调用规模。

r/LocalLLaMA

Liquid AI 发布 LFM2.5-8B-A1B,一个 80 亿参数、支持 12.8 万 token 上下文的模型

Liquid AI 放出了新模型 LFM2.5-8B-A1B。它用 380 亿个 token 做预训练,之后又做了大规模强化学习,上下文窗口能塞进 12.8 万个 token。词汇表翻了一倍,对非拉丁语系的 token 切分更友好。模型已经挂在 Hugging Face 上。

推荐理由:Liquid AI 发布 LFM2.5-8B-A1B,80 亿参数配 12.8 万 token 上下文,词汇表翻倍后对非拉丁语系切分更友好,模型已上架 Hugging Face。

机器之心 · 公众号

TogetherAI 搞了个真 2-bit 的 KV 缓存压缩方案 OSCAR,长上下文推理能跑更快

TogetherAI 和合作方发布了 OSCAR,一个把 KV 缓存压到平均每个值只占 2.28 比特的压缩系统,已经接进了 SGLang 推理框架。在 10 万 token 的长上下文场景里,解码速度最高能到原来的 3 倍;在固定显存预算下,整个任务吞吐量最高能到 7 倍。正文没披露具体模型和测试硬件,也没说精度损失有多大,这点先别太激动。

推荐理由:TogetherAI 发布 OSCAR,把 KV 缓存压到平均每值 2.28 比特并接入 SGLang,10 万 token 场景解码最高提速 3 倍,固定显存下吞吐最高 7 倍。

机器之心 · 公众号

马嘉祺让大模型翻车,背后是低频词退化问题,有人一年前洗澡时就发现了

文章页面被微信环境验证挡住了,正文内容没拿到。从现有标题和英文摘要看,讲的是 FaceMind 团队把大模型在“马嘉祺”这类低频词上翻车的现象,和两篇论文串了起来:一篇是 EMNLP 2025 的 SLoW,另一篇是刚被 ACL 2026 接收为 Oral 的 Adam's Law。

推荐理由:FaceMind 团队把大模型在低频词上翻车的现象与 SLoW、Adam's Law 两篇论文串起来,梳理了低频 token 退化的机制解释。

彭博科技

三星开始向英伟达等客户寄送下一代 AI 内存芯片样品,声称抢到先发优势

三星电子已经开始向客户寄送其最先进的内存芯片样品,这些芯片将用于英伟达等公司的 AI 加速器。不过,正文因为 Bloomberg 的反爬机制没能抓到具体内容,所以芯片型号、客户名单、样品数量、定价和量产时间这些关键信息目前都看不到。

推荐理由:三星已向英伟达等 AI 加速器客户寄出最先进内存芯片样品,在下一代 AI 内存供应上先于对手进入客户验证环节。

彭博科技

Apollo 正为 Anthropic 拉一笔 360 亿美元贷款,用来买谷歌芯片

Apollo 和 Blackstone 在找其他投资人一起凑约 360 亿美元的债务融资,给 Anthropic 建 AI 基础设施。标题说这笔钱会用来买谷歌的芯片,但正文因为 Bloomberg 的反爬墙没抓到,具体买什么型号、多少量、什么时候交付都没披露。

推荐理由:Apollo 与 Blackstone 正为 Anthropic 募集约 360 亿美元债务融资,用于采购谷歌芯片,AI 实验室以债务而非股权承担算力成本的做法由此多了一个具体样本。

AI HOT 精选

苹果想把谷歌数万亿参数的 Gemini 模型压缩进 iPhone,给新 Siri 当大脑

苹果正在尝试用模型蒸馏技术,把谷歌那个参数规模大到数万亿的 Gemini 模型缩小,塞进 iPhone 里本地运行,用来驱动新版 Siri。但 Ars Technica 的报道也泼了盆冷水:因为原始模型实在太大,完全在手机本地跑通的可能性很低,大概率还是得搭配云端处理。正文没披露具体的蒸馏方案、参数目标、延迟要求,也没给出发布时间表。

推荐理由:苹果尝试用蒸馏技术把谷歌数万亿参数的 Gemini 模型压缩进 iPhone 本地运行,以驱动新版 Siri,而报道判断完全本地跑通的可能性很低,大概率仍需云端配合。

5月28日星期四

量子位 · 公众号

DeepSeek V4 用上华为昇腾芯片做训练,国产算力生态开始跑通闭环

这篇文章本身因为微信环境验证失败,正文内容没抓到,只能根据标题和摘要信息来聊。标题里提到的“芯模协同”,指的是 DeepSeek V4 在训练时直接跟华为昇腾芯片做适配优化,不是先拿英伟达跑完再移植。摘要里说 CANN(华为的 AI 计算框架)一口气开源了 65 个代码仓库,并且支持 70 多个主流模型“开箱即用”,不用等适配。

推荐理由:DeepSeek V4 在训练阶段直接与华为昇腾芯片做适配优化,CANN 开源 65 个代码仓库并支持 70 多个主流模型开箱即用,国产算力从芯片到框架再到模型的协同路径有了具体进展。

r/LocalLLaMA

Zai 把 GLM-5.1 推理集群的网络架构换了,吞吐量提了 15%

Zai 在一个千卡规模的 GLM-5.1 代码推理集群上,把原来的 ROFT 网络拓扑换成了自研的 ZCube。硬件、软件栈和模型都没变,但交换机与光模块成本降了 33%,GPU 推理吞吐量提升了 15%。在把输入理解(prefill)和内容生成(decode)拆开跑的部署模式下,首个 token 的 P99 尾部延迟也砍掉了 40.6%。

推荐理由:Zai 在千卡 GLM-5.1 推理集群上把网络拓扑从 ROFT 换成自研 ZCube,硬件软件模型均未改动,交换机与光模块成本降 33%、吞吐升 15%。

r/LocalLLaMA

一张 RTX 3060 12GB 跑通 Qwen3.6-35B-A3B,128K 上下文生成速度 37 token/秒

用户 old-mike 在一张 RTX 3060 12GB 显卡上,用 spiritbuun 的 llama.cpp 优化分支和 mudler 的 APEX 量化模型,成功跑起了 17.3GB 的 Qwen3.6-35B-A3B。在已填充 72K 上下文时,生成速度达到 37.17 token/秒。

推荐理由:用户 old-mike 在单张 RTX 3060 12GB 上以 llama.cpp 优化分支和 APEX 量化跑起 17.3GB 的 Qwen3.6-35B-A3B,填充 72K 上下文时生成速度 37 token/秒,给出了消费级显卡跑大模型的具体配置与速度参考。

AI HOT 精选

Mistral 在 AI Now 峰会上公布工业 AI 路线图,Vibe 升级,并在巴黎郊区建推理数据中心

Mistral 在自家峰会上主要说了三件事。第一,他们和空客、宝马、ASML 合作搞工业 AI,让模型进到设计、制造这类业务流程里干活,但具体怎么落地、效果如何正文没细讲。第二,Vibe 这个能处理长周期任务的 AI 助手迎来升级,具体能力变化也没展开。

推荐理由:Mistral 与空客、宝马、ASML 合作推进工业 AI,并公布巴黎郊区 10 MW 推理数据中心和 2026 Q3 时间表,为观察欧洲算力布局与工业落地提供参照。

AI HOT 精选

Mistral 推出物理 AI 模型,用一张 GPU 几秒钟预测完整物理场

Mistral 整合了 Emmi AI 团队,发布了一个面向工业工程的物理 AI 基础模型。它能根据几何结构、边界条件或测量数据,在单张 GPU 上用几秒钟预测出完整的物理场(比如温度、应力分布)。正文没披露具体架构、参数量、训练数据规模和实测误差范围,也没给出跟传统数值仿真在精度和速度上的量化对比,所以实际工程可用性还得看后续验证。

推荐理由:Mistral 整合 Emmi AI 团队后推出面向工业工程的物理 AI 基础模型,可在单张 GPU 上几秒预测温度、应力等完整物理场,为关注工业仿真效率的读者提供一条技术路线参考。

Latent Space

Cognition 拿了 10 亿美元,估值冲到 260 亿,预计年底年经常性收入超 10 亿

Cognition 完成了 10 亿美元的 D 轮融资,估值 260 亿美元,比 8 个月前 C 轮时的 100 亿估值涨了 1.5 倍。公司自己预计到年底年经常性收入能超过 10 亿美元,客户里包括 Exa 和 Modal 这类挑剔的企业。正文没披露具体的利润率或成本结构,所以这个收入数字先别直接等同于利润。

推荐理由:Cognition 完成 10 亿美元 D 轮融资,估值 260 亿美元,8 个月内从 100 亿涨到 260 亿,AI 编程 agent 赛道的资本热度由此有了一个具体参照。

新智元 · 公众号

清华团队开源 PilotDeck:让多个 AI 分工干活,Token 成本砍掉七成

清华 NLP 实验室、面壁智能、OpenBMB 和 AI9stars 一起放出了 PilotDeck 的开源代码。这套系统让多个 AI 子代理分工协作,各自有独立的工作区和可编辑的记忆库,每次任务还会留下调度日志。

推荐理由:清华 NLP 实验室等团队开源 PilotDeck,让多个 AI 子代理各带独立工作区和可编辑记忆库分工协作,并留下调度日志,为多代理工作流提供一套可参考的开源实现。

机器之心 · 公众号

Mila 和 DeepMind 搞了个大一统的缩放定律公式 UNSL,想把参数量、数据量、训练步数这些变量塞进同一个框架里

正文因为微信环境异常被屏蔽了,具体技术细节看不到。从标题和已有英文摘要看,这篇论文提出了一种叫 UNSL(统一神经缩放定律)的多变量公式,不再只看模型参数或数据量单一维度,而是同时建模参数量、token 数、训练步数,还考虑了训练瓶颈、过拟合以及超参数调不好的负面影响。

推荐理由:Mila 与 DeepMind 提出 UNSL,把参数量、token 数和训练步数放进同一缩放公式,并纳入训练瓶颈与过拟合的影响,为多变量下的训练配置估算提供统一框架。

TechCrunch · AI

Snowflake 跟 AWS 签了 60 亿美元的五年长约,专门锁定 AI 芯片算力

Snowflake 和 AWS 敲定了一笔 60 亿美元、为期五年的合同,用来确保 AI 芯片的供应。原文没披露具体芯片型号、交付时间,也没说这批算力是拿来做模型训练、跑推理还是两者都有。对 AWS 来说这是个大单,对 Nvidia 则是个信号——大客户在找替代方案。不过正文信息有限,具体怎么用、能省多少成本都还没谱。

推荐理由:Snowflake 与 AWS 签下 60 亿美元五年合同锁定 AI 芯片算力,这笔大单显示大型云客户正在英伟达之外寻找替代算力来源。

r/LocalLLaMA

一台 300 美元笔记本跑 Qwen 3.5 35B 模型,推理速度跑到每秒 10.33 个 token

一位 Reddit 用户在一台 300 美元买的联想 Ideapad Slim 3i 上,用纯 CPU 跑 Qwen 3.5 35B 模型(Q4_K_S 量化版),推理速度达到了每秒 10.33 个 token。这台机器是 i3-1215U 处理器,板载 8GB 内存加一条 32GB DDR4 扩展内存。

推荐理由:Reddit 用户用 300 美元的联想 Ideapad Slim 3i 纯 CPU 运行 Qwen 3.5 35B 的 Q4_K_S 量化版,推理速度达到每秒 10.33 个 token。

AI HOT 精选

Hao AI Lab 开源 FastVideo Dreamverse,一张 B200 显卡 7 秒跑出 30 秒 1080p 视频

这个工具用一张 NVIDIA B200 GPU 搭配 LTX-2 模型,把生成 30 秒 1080p 视频的时间压到了 7 秒,做到了实时出片。代码和博客都公开了,但正文没披露画面质量、一致性和复杂场景下的表现,实际效果得自己跑一遍才知道。

推荐理由:Hao AI Lab 开源 FastVideo Dreamverse,用单张 NVIDIA B200 搭配 LTX-2 模型把 30 秒 1080p 视频生成压到 7 秒,代码和博客一并公开。

5月27日星期三

AI HOT 精选

Perplexity 开源 Unigram 分词器,CPU 占用降了五六倍

Perplexity 把自家重写的 Unigram 分词器开源了,放在 pplx-garden 仓库里。这个分词器主要解决一个实际问题:现在小型的重排序模型和嵌入模型在 GPU 上跑一次只要几毫秒,但 CPU 分词那一步反而成了拖后腿的环节。他们这次重构后,CPU 占用直接降了 5 到 6 倍,等于把分词这步的延迟砍掉一大截,让整体响应更快。

推荐理由:Perplexity 开源了重写的 Unigram 分词器,把重排序和嵌入模型流程中 CPU 分词这一步的占用降低 5 到 6 倍,让分词不再拖慢整体响应。

量子位 · 公众号

卡内基梅隆和马里兰大学让大模型“睡觉”:上下文快满时暂停、压缩记忆再继续推理

这篇论文给大模型设计了一个类似人类睡眠的机制。当模型处理长文本、上下文窗口快塞满时,它会主动停下来,不再接收新 token,而是利用离线时间对已积累的上下文做多轮递归前向计算,把信息压缩成“快速权重”。之后清空 KV 缓存,相当于整理完记忆再醒来继续干活。

推荐理由:卡内基梅隆和马里兰大学给大模型设计了类似睡眠的机制,在上下文快满时暂停并压缩记忆,为长文本推理中的显存与上下文管理提供了一种可迁移的方法。

新智元 · 公众号

OpenRouter 月吞 100 万亿 Token,刚拿了 1.13 亿美元 B 轮融资

OpenRouter 做的是 AI 模型的“中转站”,用一个 API 就能调用 400 多个模型。现在每周处理 25 万亿 Token,一个月差不多 100 万亿。这轮融资由 CapitalG 领投,估值到了 13 亿美元。正文没披露具体盈利和成本结构,所以“赚爆了”这个说法先打个折,但流量规模确实大。

推荐理由:OpenRouter 以单一 API 接入 400 多个模型,每周处理 25 万亿 Token,B 轮由 CapitalG 领投、估值 13 亿美元,模型路由这一层的规模与资本进展由此有了具体参照。