跳到正文

#部署/工程

今日 11 条

5月14日星期四

彭博科技

AI 芯片公司 Cerebras IPO 定价每股 185 美元,募资 55.5 亿美元

Cerebras 这次上市募了 55.5 亿美元,是今年美股最大的一笔 IPO。定价落在每股 185 美元,但正文被 Bloomberg 的付费墙挡住了,没披露对应估值和发行股数。这家公司做的是巨型 AI 训练芯片,直接跟英伟达抢生意,上市后手里现金会厚很多,但后续量产和客户集中度的问题还得看招股书细节。

推荐理由:Cerebras 以每股 185 美元完成 IPO,募资 55.5 亿美元,资金将用于扩充巨型 AI 训练芯片的产能与客户拓展。

AI HOT 精选

Meta 在 WhatsApp 里上线隐身聊天,推理跑在手机安全区、不留服务器日志

Meta 首席 AI 官宣布 WhatsApp 和 Meta AI 上线 Incognito Chat。和 ChatGPT 那种只不存历史记录的临时聊天不一样,这次对话推理完全在手机硬件安全飞地内完成,Meta 工程师拿不到明文,也不产生服务器日志,会话结束后数据永久删除。

推荐理由:Meta 在 WhatsApp 上线 Incognito Chat,对话推理在手机安全飞地内完成,服务器不留日志、会话结束即删除,与只清历史记录的临时聊天形成对照。

5月13日星期三

量子位 · 公众号

字节提出 GRN,让生图模型像人一样边画边改,不再死磕扩散和自回归

字节跳动的技术团队搞了个叫 GRN(生成式精炼网络)的新架构,想给视觉生成找第三条路,不跟扩散模型和自回归模型硬卷。它的核心思路是让模型先生成一张粗糙的图,再反复精修,就像画师先铺大色块再慢慢抠细节。为了解决反复修图容易把图修糊、错误越攒越多的问题,他们用了三项技术:HBQ(分层二元量化)把图片压成更紧凑的离散编码,减少信息损耗。

推荐理由:字节团队提出 GRN 架构,让视觉生成先出粗图再反复精修,并用 HBQ 分层二元量化压缩离散编码以减少信息损耗,为扩散与自回归之外的第三条路线提供了具体技术方案。

r/LocalLLaMA

小米把 1 万亿参数的 MiMo-V2.5-Pro 开源了,但自己跑真的划算吗?

小米放出了 MiMo-V2.5-Pro,参数总量 1.02 万亿,但每次推理只激活 420 亿参数,上下文窗口能塞进 100 万个 token,用 MIT 许可证。作者拿它跑了 125 次 Claude Code 任务,走 API 总共花了 70.12 美元,处理了约 3.87 亿个 token,缓存命中率高达 96.3%。

推荐理由:小米开源 MiMo-V2.5-Pro,1.02 万亿参数、每次激活 420 亿,作者用 Claude Code 跑 125 次任务,3.87 亿 token 的 API 花费 70.12 美元,自建与调用的成本对比有了具体参照。

纽约时报中文网

黄仁勋没在首批名单上,特朗普看到报道后亲自打电话把他拉上了访华专机

白宫周一公布的16人CEO随行名单里没有黄仁勋,这件事在硅谷和华盛顿都引起了议论。特朗普周二上午直接打电话邀请,黄仁勋当晚在阿拉斯加登上了空军一号。他掌管的英伟达是全球市值最高的公司,过去一年一直在游说中美双方,想拿到向中国卖AI芯片的许可。去年夏天特朗普批准卖上一代芯片,但中国政府至今没批任何采购,美国政府内部也有人以国家安全为由反对卖更先进的芯片。

推荐理由:白宫公布16人CEO名单时没有黄仁勋,特朗普次日亲自致电补邀,他当晚在阿拉斯加登上空军一号。英伟达过去一年持续游说中美双方争取AI芯片对华销售许可,此行背景由此展开。

纽约时报中文网

DeepSeek 新模型首次用华为芯片跑推理,训练还得靠英伟达

DeepSeek 上个月发新模型,头一回说推理环节跑在了华为芯片上,但两位半导体业人士透露,训练阶段仍然依赖英伟达芯片,具体怎么拿到的没细说。华为计划今年出训练芯片,同时承认性能追上英伟达现有水平还要再等一年。这件事让中国在 AI 硬件上跟美国进一步脱钩,也印证了黄仁勋之前的警告:出口管制反而逼着中国自建一套技术栈。

推荐理由:DeepSeek 新模型推理环节跑在华为芯片上,训练仍依赖英伟达,华为训练芯片要等一年才能追平,这条把中国 AI 硬件脱钩的现状和卡点摆了出来。

r/LocalLLaMA

有人把 Transformer 语言模型塞进了原装 Game Boy Color 里跑

maddiedreese 把 Andrej Karpathy 的 TinyStories-260K 模型成功跑在了一台没改过硬件的 Game Boy Color 上。他用 INT8 量化权重、定点数运算,把模型和 KV 缓存塞进 MBC5 卡带的 bank-switched ROM 和 SRAM 里,全程不靠手机、电脑、Wi-Fi 或云端推理。

推荐理由:一个 Reddit 硬件 hack,把 TinyStories-260K 塞进原装 Game Boy Color,用 INT8 和定点数学跑推理,KV cache 放在卡带 SRAM 里。输出慢到没法用,而且基本是乱码,所以别当产品看。但能在这种老设备上把 transformer 跑起来,本身就挺酷,技术细节也给得实在,适合当一条有趣的行业花絮。

彭博科技

CME 打算推出算力期货,把 GPU 租赁变成可交易合约

芝加哥商品交易所(CME)和 Silicon Data 正在筹划一个算力期货市场,让计算资源像原油或玉米一样在交易所买卖。视频里讨论了这么做的逻辑和运作方式,但没公布合约的具体规格、上线时间,也没说价格怎么定。对 AI 公司来说,这相当于提前锁定 GPU 租用成本,不用再担心突然涨价或抢不到卡。

推荐理由:CME 与 Silicon Data 筹划算力期货市场,让 GPU 租赁像原油一样在交易所交易,AI 公司可提前锁定租用成本以应对涨价或缺卡。

AI HOT 精选

Claude Opus 4.7 快速模式开放研究预览,API 和 Claude Code 都能用

Anthropic 把 Claude Opus 4.7 的快速模式放出来了,现在可以在 API 和 Claude Code 里用,但还挂着研究预览的标签。正文没提模型参数量、具体定价、调用频率限制,也没说什么时候转正式版。如果是真的快又便宜,对日常开发场景会挺实用,不过这些关键信息都缺着,先别急着切生产环境。

推荐理由:Anthropic 将 Claude Opus 4.7 快速模式以研究预览形式开放给 API 和 Claude Code,写代码、调工具的等待时间可能缩短,但模型规模、定价和速率限制尚未公布。

Hacker News 首页

Needle:一个 26M 参数的小模型,专门做工具调用,能在普通电脑上跑到每秒 1200 token

Cactus 开源了一个叫 Needle 的工具调用模型,参数量只有 2600 万,小到可以在消费级设备上跑。它的推理速度很快,预填充阶段每秒能处理 6000 个 token,生成阶段每秒 1200 个 token。这个模型是从 Gemini 的工具调用能力蒸馏出来的,相当于把大模型怎么调用 API、怎么选函数这套本事,压缩进了一个极小的模型里。

推荐理由:Cactus 把 Gemini 的工具调用能力蒸馏进一个 2600 万参数模型,预填充每秒 6000 token、生成每秒 1200 token,可在消费级设备本地运行。

r/LocalLLaMA

Needle:他们把 Gemini 的工具调用能力蒸馏进了一个 26M 小模型

Cactus Compute 开源了一个叫 Needle 的工具调用模型,参数量只有 2600 万。它用 Gemini 当老师,把怎么调用外部工具的能力蒸馏出来,塞进一个没有传统 MLP 层、靠注意力机制和门控结构的小模型里。在消费级设备上跑,预填充速度能到每秒 6000 个 token,解码速度每秒 1200 个 token。

推荐理由:Cactus Compute 把 Gemini 的工具调用能力蒸馏进一个 2600 万参数的小模型,并给出消费级设备上每秒 6000 个 token 的预填充速度,为端侧工具调用提供了一种轻量方案。

TechCrunch · AI

Google 和 SpaceX 在谈把数据中心搬上太空

Google 和 SpaceX 正在讨论建轨道数据中心,专门跑 AI 算力。SpaceX 今年晚些时候要搞 1.75 万亿美元的 IPO,需要这个“太空机房”的故事来撑估值。但先别太激动——TechCrunch 自己算过账,把卫星制造和发射成本算进去,现在太空机房的成本比地面贵得多。

推荐理由:Google 与 SpaceX 正讨论建轨道数据中心跑 AI 算力,而 TechCrunch 算过账,把卫星制造和发射成本计入后,太空机房眼下比地面贵得多。

FT · 科技

芝加哥商品交易所(CME)打算推出 AI 算力期货,让 GPU 租金也能像石油一样做对冲

CME 计划推出挂钩 GPU 租赁价格的期货合约,交易员和公司可以用它来赌未来算力成本涨跌,或者锁定成本做套期保值。不过这篇 FT 文章正文被付费墙挡住了,合约的具体规格、参考的租金指数、上线时间这些关键信息都没披露。

推荐理由:CME 计划推出挂钩 GPU 租赁价格的期货合约,让算力成本也能像石油一样通过套期保值锁定,这是算力从技术资源变成可交易金融标的的一步。

5月12日星期二

r/LocalLLaMA

一台 16GB 显存 + 64GB 内存跑本地代码补全和智能体编程

Reddit 用户 grumd 在一张 RTX 5080(16GB 显存)和 64GB 内存的单机上同时跑了两套模型:Qwen2.5-Coder-7B Q6 做代码补全,Qwen3.6-35B-A3B Q8 做智能体编程(让模型自己规划步骤、调用工具写代码)。

推荐理由:Reddit 用户 grumd 在单张 16GB 显存显卡加 64GB 内存的机器上同时运行代码补全与智能体编程两套模型,并列出所用模型、量化方式和上下文长度。

机器之心 · 公众号

字节开源 DreamLite:0.39B 参数模型在 iPhone 上 3 秒出图,不用联网

DreamLite 是字节跳动开源的一个统一扩散模型,参数量只有 3.9 亿,能在 iPhone 17 Pro 上直接跑,生成或编辑一张 1024×1024 的图大约 3 秒。它靠 DMD2 蒸馏技术把推理压缩到 4 步,全程在手机本地完成,不依赖云端。

推荐理由:字节跳动开源 3.9 亿参数的统一扩散模型 DreamLite,在 iPhone 17 Pro 上本地生成或编辑一张 1024×1024 的图约 3 秒,靠 DMD2 蒸馏把推理压到 4 步。

AI HOT 精选

OpenAI 办了一场“参数高尔夫”比赛,1000 多人用 AI 助手卷模型压缩,我们看到了什么

OpenAI 搞了个叫 Parameter Golf 的机器学习挑战赛,规则很硬:模型加代码总大小不能超过 16MB,训练时间只有 10 分钟(用 8 张 H100),看谁能在固定数据集上把测试损失压到最低。超过 1000 人提交了 2000 多次结果。我会先打个折,正文没披露最终冠军的具体分数,但重点讲了技术路数。

推荐理由:OpenAI 举办 Parameter Golf 挑战赛,限制模型加代码不超过 16MB、训练仅 10 分钟,超 1000 人提交 2000 多次结果,复盘了参赛者用 AI 助手压缩模型的技术路数。

r/LocalLLaMA

把 prompt 缓存用到强化学习训练里:长提示短回复场景下,Qwen3.5-4B 训练速度提升 7.5 倍

作者提出在强化学习训练时复用 prompt 缓存,专门针对那种提示很长、模型回复很短的任务。在 Qwen3.5-4B 上跑 16k token 提示、64 token 回复的例子,训练速度直接快了 7.5 倍。

推荐理由:作者把推理阶段的 prompt 缓存思路搬进强化学习训练,针对长提示短回复任务复用重复 token 计算,在 Qwen3.5-4B 上跑 16k 提示、64 token 回复时训练速度提升 7.5 倍。

r/LocalLLaMA

Reddit 网友用英特尔傲腾持久内存攒了一台机器,本地跑 1 万亿参数模型,速度超过 4 token/秒

Reddit 用户 APFrisco 分享了一套硬件方案:用 768GB 英特尔傲腾持久内存(Optane PMem)当主存储,搭配 192GB DDR4 ECC 内存和一张 12GB 显存的 RTX 3060 显卡,通过 llama.cpp 的混合推理(CPU+GPU)。

推荐理由:Reddit 用户用 768GB 傲腾持久内存搭配 RTX 3060,在本地以超过 4 token/秒跑起 1 万亿参数模型,展示了 llama.cpp 混合推理在低成本硬件上的可行路径。

5月11日星期一

r/LocalLLaMA

ExLlamaV3 连续更新:DFlash 让编程吞吐量翻三倍,多款模型推理再提速

ExLlamaV3 最近几个版本更新挺猛。v0.0.31 引入 DFlash 后,编程任务的生成速度从每秒 59.21 个 token 直接拉到 177.67,翻了近三倍。v0.0.32 专门优化了五款模型,其中 Trinity-Nano 在 6000 Pro² 显卡上的速度提升了 72.4%。

推荐理由:ExLlamaV3 在 v0.0.31 引入 DFlash,把编程任务生成速度从每秒 59.21 个 token 提到 177.67,v0.0.32 又针对五款模型优化,Trinity-Nano 在 6000 Pro² 上提速 72.4%。

机器之心 · 公众号

ICML 2026 论文:PRISM 框架让扩散语言模型做推理时扩展不再烧算力

这篇 ICML 2026 的论文给扩散语言模型(dLLM)提出了一套叫 PRISM 的推理时扩展方法。它把搜索过程拆成三层:先让模型并行生成多条推理路径,再对每条路径局部“回退重写”不靠谱的步骤,最后用模型自己当裁判打分筛选。在数学题集 GSM8K 上,LLaDA-8B-Instruct 的准确率从 67.58% 拉到了 85.30%。

推荐理由:ICML 2026 论文提出 PRISM 框架,用并行生成、局部回退重写和自评分筛选三层搜索做推理时扩展,在 GSM8K 上把 LLaDA-8B-Instruct 准确率从 67.58% 提到 85.30%。

量子位 · 公众号

OpenAI 签下 750 兆瓦算力大单,芯片公司 Cerebras 趁势把 IPO 估值抬到 350 亿美元

Cerebras 把 IPO 发行价区间上调到每股 150 到 160 美元,按上限算估值约 350 亿美元。直接推手是 OpenAI 刚签了一份 750 兆瓦的 AI 算力采购协议,交付排到 2028 年。不过原文因为微信环境验证拦截,正文内容没抓到,具体合同金额、交付节奏和 Cerebras 的财务数据都没披露,这个估值能撑多久还得看后续招股书细节。

推荐理由:OpenAI 与 Cerebras 签下 750 兆瓦算力采购协议后,后者把 IPO 发行价区间上调至每股 150 到 160 美元,按上限对应约 350 亿美元估值,交付排到 2028 年。

量子位 · 公众号

马斯克申请 SpaceXAI 商标,要把 AI 算力搬上卫星

SpaceX 提交了 SpaceXAI 商标申请,覆盖的业务范围很广:卫星数据中心、轨道计算、AI 软件即服务、云存储、通信硬件,甚至还有社交网络。文章提到 xAI 已经通过全股交易成为 SpaceX 的子公司,并引用了一个 2500 亿美元的 xAI 估值。不过正文因为环境异常被屏蔽了,具体交易条款和商标申请细节都没披露,这个估值数字也先别太当真。

推荐理由:SpaceX 提交 SpaceXAI 商标申请,业务覆盖卫星数据中心、轨道计算与 AI 软件服务,xAI 已通过全股交易成为其子公司。

AI HOT 精选

Cerebras IPO 被抢爆,超额认购超 20 倍,发行价打算上调近三成

路透社的消息说,做 AI 芯片的 Cerebras 准备上市,结果被投资人抢疯了,超额认购超过 20 倍。公司一看这架势,打算把发行价从原来的 115-125 美元提到 150-160 美元,涨了快三成,发行股票数量也计划从 2800 万股加到 3000 万股,最多能融到 48 亿美元。这可能会是 2026 年到现在全球最大的一笔 IPO。

推荐理由:Cerebras 因 IPO 获超 20 倍超额认购,计划将发行价上调近三成并增发股票,最多融资 48 亿美元,这条消息给出了 AI 芯片一级市场认购热度的具体数字。

AI HOT 精选

本地 35B 模型扛下作者一半日常工作,响应速度是云端 Claude Opus 4.5 的两倍

作者用五周时间测了约 1400 个日常工作请求,发现本地跑的 Qwen 3.6 35B 这类模型能搞定其中一半,平均响应 2.8 秒,比云端 Claude Opus 4.5 的 5.8 秒快了 2.1 倍。像邮件草拟、日程安排、摘要和行政杂活这些任务,本地模型完全够用。

推荐理由:作者用五周约1400个日常请求测试本地35B模型,其中一半任务可完成,平均响应2.8秒,比云端Claude Opus 4.5的5.8秒快2.1倍。

r/LocalLLaMA

MTP 实测:写代码能加速 71%,写小说反而变慢 9%,任务类型决定投机推理是帮忙还是帮倒忙

一位 Reddit 用户用 Qwen 3.6 27B 的 MTP 量化模型跑了 300 多次测试,发现投机推理(让模型先猜后验证)的效果完全看任务类型。写代码时草稿被采纳的比例高达 79% 到 89%,用 F16 精度跑代码生成速度提升了 171%;但换成创意写作,Q4_K_M 量化下推理速度反而慢了 9%。

推荐理由:Reddit 用户用 Qwen 3.6 27B 的 MTP 量化模型跑了 300 多次测试,发现投机推理在写代码时草稿采纳率高达 79% 到 89%,换成创意写作反而慢 9%,任务类型直接决定加速还是拖慢。

5月10日星期日

r/LocalLLaMA

网友用一张 RTX PRO 6000 工作站显卡跑起了 DeepSeek V4 Pro

Reddit 用户 fairydreaming 发帖说,他在自己机器上跑通了 DeepSeek V4 Pro。用的是一块 RTX PRO 6000 Blackwell Max-Q 工作站显卡,搭配修改过的 llama.cpp CUDA 分支。模型文件是 Q4_K_M 量化版,体积 859GB。

推荐理由:Reddit 用户用一块 RTX PRO 6000 工作站显卡和修改版 llama.cpp 跑通 859GB 的 DeepSeek V4 Pro,为关注本地推理硬件门槛的读者提供了单卡运行大模型的具体配置参考。

r/LocalLLaMA

NVIDIA 发布 Star Elastic:一个模型文件能直接切出 30B、23B、12B 三种推理模型

NVIDIA 放出了一个叫 Star Elastic 的模型,一个检查点文件里包含了 30B、23B 和 12B 三个尺寸的推理模型,不用额外训练就能直接“切片”取用。具体玩法是让 23B 的子模型负责思考过程,30B 的模型负责给出最终答案。

推荐理由:NVIDIA 发布的 Star Elastic 让单个检查点无需额外训练即可切出 30B、23B、12B 三种推理模型,其中 23B 负责思考、30B 负责作答,为推理部署提供了一份权重按需取用的思路。

r/LocalLLaMA

BeeLlama.cpp:用 DFlash 和 TurboQuant 让 Qwen 3.6 27B 在单张 3090 上跑 20 万上下文,速度翻倍

Anbeeld 发了一个 llama.cpp 的分支 BeeLlama.cpp,主要加了 DFlash(一种省显存的注意力机制)和 TurboQuant(更快的量化方案),还支持推理和视觉任务。

推荐理由:Anbeeld 发布 llama.cpp 分支 BeeLlama.cpp,加入 DFlash 省显存注意力与 TurboQuant 量化,让 Qwen 3.6 27B 在单张 3090 上支持 20 万上下文并提速 2 至 3 倍。

5月9日星期六

AI HOT 精选

Redis 作者用几千行 C 代码把 DeepSeek V4 Flash 塞进 MacBook,跑出 27 tok/s

Antirez 开源了一个叫 ds4 的推理引擎,专门给 DeepSeek V4 Flash 用。代码只有几千行 C,能在 128GB 内存的 MacBook Pro 上跑 100 万 token 上下文的模型。他用了三招:对 MoE 专家做不对称 2-bit 量化来压缩模型体积;把 KV Cache 搬到高速 SSD 上,绕开内存不够的问题。

推荐理由:Antirez 开源的 ds4 用几千行 C 代码,在 128GB 内存的 MacBook Pro 上跑通 DeepSeek V4 Flash 的百万 token 上下文,其 MoE 专家 2-bit 量化与 KV Cache 落盘 SSD 的做法,为本地部署大模型提供了可迁移的工程思路。

r/LocalLLaMA

用 12GB 显存跑 Qwen3.6 35B A3B,llama.cpp MTP 实测跑到 80 tok/s、128K 上下文

Reddit 用户 janvitos 在 RTX 4070 Super(12GB 显存)上跑 Qwen3.6-35B-A3B-MTP-GGUF,搭配 llama.cpp 的一个 MTP 拉取请求。他贴出的实测数据是每秒 69.2 到 81.9 个 token,草稿接受率在 0.694 到 0.947 之间,上下文长度拉到 131072。

推荐理由:Reddit 用户 janvitos 在 12GB 显存的 RTX 4070 Super 上跑 Qwen3.6 35B A3B,贴出 69.2 到 81.9 tok/s 与 128K 上下文的实测配置。

AI HOT 精选

百度发了 ERNIE 5.1,参数量砍到原来的三分之一,训练费压到同规模模型的 6%

ERNIE 5.1 把总参数量压到原规模的大约三分之一,激活参数压到大约一半,预训练成本只花到同规模模型的 6% 左右。百度说性能没崩,Agent 能力超过 DeepSeek-V4-Pro,世界知识和创意写作接近头部闭源模型和 Gemini 3.1 Pro,推理仅次于 Gemini 3.1 Pro,深度搜索排全球第四。

推荐理由:百度发布 ERNIE 5.1,总参数量压到约三分之一、预训练成本降到同规模模型的 6%,并给出与 DeepSeek-V4-Pro、Gemini 3.1 Pro 的能力对比。

新智元 · 公众号

英伟达、AMD、英特尔罕见联手,给 RadixArk 投了 1 亿美元种子轮

RadixArk 在 5 月 5 号宣布拿了 1 亿美元种子轮,投后估值 4 亿美元。领投的是 Accel,Spark Capital 跟投,更少见的是英伟达、AMD、英特尔这三家芯片厂同时出现在投资人名单里,联发科和 Databricks 也参与了。

推荐理由:RadixArk 以 4 亿美元投后估值完成 1 亿美元种子轮,英伟达、AMD、英特尔三家芯片厂同时出现在投资人名单里,这一组合在 AI 基础设施融资中并不常见。

AI HOT 精选

DeepSeek 正以 500 亿美元估值融资 70 亿,创始人自己掏了 30 亿

DeepSeek 这轮最多要融 70 亿美元,估值 500 亿,是中国 AI 公司里单轮金额最高的一次。创始人梁文锋个人出了 30 亿,占这轮融资的 40%,融完后他手里还有公司 90% 的股份。DeepSeek 最早是从他自己的对冲基金里孵化出来的。

推荐理由:DeepSeek 本轮拟融资 70 亿美元、估值 500 亿,创始人梁文锋个人出资 30 亿并保留 90% 股份,创始人重注维持控制权的路径由此有了具体数字。

r/LocalLLaMA

单张 RTX 4090 跑 Qwen3.6-27B,262K 上下文冲到 80+ t/s

indrasmirror 用一张 RTX 4090 跑 Qwen3.6-27B-Heretic-v2,上下文拉到 262K token,搭配 TBQ4_0 格式的 KV 缓存和 MTP 推测解码(draft 3),生成速度从约 43 t/s 提到 80-87 t/s。MTP 草稿接受率大概 73%,说明模型对草稿的采纳比例不低,这是提速的关键。

推荐理由:indrasmirror 在单张 RTX 4090 上把 Qwen3.6-27B 的上下文拉到 262K,并用 MTP 推测解码把生成速度从约 43 t/s 提升到 80-87 t/s,草稿接受率约 73%。

The Verge · AI

AI 数据中心扩张引发全美争议:43% 美国人认为电费上涨要怪它们

The Verge 梳理了 AI 数据中心在全球引发的冲突。调查显示 43% 的美国人把电费上涨归咎于数据中心;犹他州一个占地 4 万英亩的项目不顾社区反对获批;Anthropic 宣布将在美国投入 500 亿美元建 AI 数据中心。

推荐理由:The Verge 汇总了 AI 数据中心在全球引发的冲突,其中民调显示 43% 的美国人将电费上涨归咎于数据中心,犹他州一个 4 万英亩项目在社区反对下获批。

彭博科技

Anthropic 跟 Akamai 签了 18 亿美元的算力合同

Anthropic 和 Akamai 达成了一笔 18 亿美元的计算资源交易,用来应对自家 AI 软件越来越大的算力需求。不过正文被付费墙挡住了,没披露具体买了多少算力、合同签了几年、以及这些服务器会部署在哪些地区。

推荐理由:Anthropic 与 Akamai 签下 18 亿美元算力合同,用于承接其 AI 软件持续增长的算力需求,Akamai 由此进入 AI 算力供应这一角色。

AI HOT 精选

EMO:让专家模型自己长出模块,用八分之一专家就能干活

AllenAI 放出了一个叫 EMO 的混合专家模型(MoE),总参数量 140 亿,每次推理只激活 10 亿参数。它最大的不同是训练时没按人类划好的学科(比如数学、代码)去分专家,而是让模型自己从 1 万亿 token 的数据里长出模块。结果是,跑特定任务时你只用挑出 12.5% 的专家,性能就接近全模型水平。

推荐理由:AllenAI 的 EMO 训练时不按学科划分专家,让模型从 1 万亿 token 中自行长出模块,跑任务时只激活 12.5% 的专家即可接近全模型水平。

5月8日星期五

r/LocalLLaMA

Gemma 4 26B 在单张 RTX 5090 上跑到每秒 600 token

chain-77 用 vLLM 0.19.2rc1 测了 Gemma 4 26B,开了 DFlash 投机解码后,单张 RTX 5090 的输出吞吐从每秒 228 token 跳到 578 token。测试条件是输入 256 token、输出 1024 token、并发数 1、投机 token 数设为 13。

推荐理由:chain-77 在单张 RTX 5090 上用 vLLM 0.19.2rc1 测 Gemma 4 26B,开启 DFlash 投机解码后输出吞吐从每秒 228 token 升至 578 token,并给出并发数与投机 token 数等可复现参数。

机器之心 · 公众号

SGLang 团队拿了 1 亿美元种子轮,成立新公司 RadixArk,要做开放的 AI 基础设施

SGLang 的团队新成立了一家公司叫 RadixArk,5 月 5 号宣布完成 1 亿美元种子轮融资,投后估值 4 亿美元。SGLang 是一个开源的模型推理框架,目前在 GitHub 上有超过 2.7 万颗星,部署的 GPU 超过 40 万张。

推荐理由:SGLang 团队成立 RadixArk 并完成 1 亿美元种子轮,投后估值 4 亿美元,其开源推理框架已有 2.7 万 GitHub 星和超 40 万张 GPU 部署。

新智元 · 公众号

用 token 级价值函数控制回答长度,3B 模型在长度控制上跑赢 GPT-5.4 和 Claude

加州大学圣塔芭芭拉分校和苹果的研究人员搞了个叫 LenVM 的方法,把“还剩多少 token 要生成”建模成一个 token 级别的价值函数,相当于给模型装了个实时字数进度条。

推荐理由:加州大学圣塔芭芭拉分校和苹果提出 LenVM,把剩余生成长度建模为 token 级价值函数,让 3B 模型在长度控制上超过 GPT-5.4 和 Claude。