跳到正文

#部署/工程

今日 11 条

4月25日星期六

Computing Life · Share · 鸭哥调研

TPU 与 CUDA 的攻防战:Cloud Next 2026 之后的判断

Google 在 Cloud Next 2026 上放了三招:把第八代 TPU 拆成训练用的 8t 和推理用的 8i,8i 内存带宽比 8t 还高,专门对付长上下文推理;推出 TorchTPU,让 PyTorch 代码能直接在 TPU 上跑,不再需要以前那个问题一堆的桥接层;以及给 Anthropic 投了最多 400 亿美元并配 5GW 算力。

推荐理由:Google 在 Cloud Next 2026 上把第八代 TPU 拆成训练用 8t 和推理用 8i,并推出 TorchTPU 让 PyTorch 代码直接运行,绕开了以往桥接层的迁移障碍。

FT · 科技

谷歌计划向 Anthropic 投资最高 400 亿美元,钱主要用来买算力

谷歌要给 Anthropic 投一笔钱,上限是 400 亿美元。这笔钱不是单纯的财务投资,核心目的是给 Anthropic 的模型增加计算资源,也就是买更多服务器和芯片来跑模型。这更像是一种算力绑定——Anthropic 拿了钱,但得花在谷歌的云服务或算力上。

推荐理由:谷歌计划向 Anthropic 投资最高 400 亿美元,资金指定用于扩充模型算力,这一安排把投资与云服务绑定在一起。

4月24日星期五

TechCrunch · AI

Meta 签下数百万颗亚马逊自研 CPU,这次不是 GPU,是给 AI 智能体跑业务用的

Meta 和亚马逊达成了一笔大单,要采购数百万颗亚马逊自研的 Graviton CPU,专门用来跑 AI 智能体(agentic AI)的工作负载。注意,这里说的是 CPU,不是训练大模型常用的 GPU。这信号挺有意思:以前大家抢 GPU,现在连 CPU 都开始为 AI 智能体这种新任务大量铺货了。

推荐理由:Meta 向亚马逊采购数百万颗自研 Graviton CPU,用于承载 AI 智能体工作负载,这笔订单把非 GPU 芯片在智能体任务中的用量推到了新量级。

机器之心 · 公众号

复旦等团队提出 HERMES:把 KV 缓存当分层记忆用,流式视频理解首 token 延迟最高降 10 倍

这篇讲的是复旦大学、上海科学智能研究院和新加坡国立大学一起搞的 HERMES,一个不用重新训练就能加速流式视频理解的框架。核心思路是把模型里的 KV 缓存(你可以理解成模型在推理时记下的“草稿纸”)重新组织成三层记忆:当前帧的短期记忆、最近几帧的中期记忆,以及更早帧压缩后的长期记忆。

推荐理由:复旦大学等团队提出免训练的 HERMES 框架,把 KV 缓存组织成三层记忆来加速流式视频理解,首 token 延迟最高降低 10 倍,为实时视频场景的推理优化提供了一条可迁移思路。

r/LocalLLaMA

DeepSeek V4 发布:1.6T 参数的 Pro 版和 284B 的 Flash 版,MIT 开源,支持 100 万 token 上下文

DeepSeek 放出了两个 V4 模型,都走 MIT 开源协议,上下文窗口拉到 100 万 token。Pro 版总参数 1.6T,每次推理只激活 49B;Flash 版总参数 284B,激活 13B。激活参数占比很低,意味着如果跑分靠谱,自己部署长上下文模型的硬件门槛和成本会降一截。

推荐理由:DeepSeek 以 MIT 协议开源 V4 的 Pro 与 Flash 两版,上下文窗口均达 100 万 token,激活参数分别只有 49B 和 13B,自部署长上下文模型的硬件门槛由此有了新的参照。

X · @dotey(宝玉)

DeepSeek 发了 V4 预览版并开源,百万上下文直接标配,不再分版本加价

DeepSeek 放出了 V4 系列模型的预览版,代码也同步开源。这次最实在的变化是,百万 token 的上下文窗口成了所有官方服务的默认配置,Pro 和 Flash 两个型号都一样,没有高价门槛。V4-Pro 是旗舰,推理能力追平了顶尖闭源模型,世界知识得分仅次于 Gemini-Pro-3.1。

推荐理由:DeepSeek 发布 V4 系列预览版并同步开源,百万 token 上下文成为 Pro 和 Flash 两个型号官方服务的默认配置,不再按版本或价位区分。

X · @op7418(歸藏)

DeepSeek V4 发了公告:Pro 版 1.6T 总参数量但只激活 49B,Flash 版更轻量,预训练都喂了 32T 数据

DeepSeek 放出了 V4 的官方说明。这次分两个版本:Pro 版总参数量 1.6 万亿,实际干活时只激活 490 亿参数;Flash 版总参数量 2840 亿,激活 130 亿参数,两个版本预训练都用了 32 万亿 token。网页和 App 里的“专家模式”对应 Pro,“快速模式”对应 Flash。

推荐理由:DeepSeek 公布 V4 两个版本的参数规模与 32 万亿 token 预训练数据,并说明网页和 App 的专家模式与快速模式分别对应 Pro 和 Flash。

Hugging Face 博客

DeepSeek-V4 发布:百万 token 上下文,这次是给干活用的 agent 准备的

DeepSeek 发了 V4,分 Pro 和 Flash 两个版本,都支持 100 万 token 的上下文窗口。Pro 版总参数 1.6 万亿,每次推理激活 490 亿;Flash 版总参数 2840 亿,激活 130 亿。跑分不是最顶尖的,但这不是重点。

推荐理由:DeepSeek-V4 分 Pro 和 Flash 两版,均支持 100 万 token 上下文,Pro 版总参数 1.6 万亿、激活 490 亿,Flash 版总参数 2840 亿、激活 130 亿。

DeepSeek · API 更新日志

DeepSeek API 支持 DeepSeek-V4,旧模型名将于三个月后停用

DeepSeek API 已支持 V4-Pro 与 V4-Flash,兼容 OpenAI ChatCompletions 接口与 Anthropic 接口。访问新模型时 base_url 不变,model 参数需改为 deepseek-v4-pro 或 deepseek-v4-flash。

推荐理由:DeepSeek 在保持 API 地址不变的同时更换模型参数,并明确旧模型名的停用期限,迁移涉及调用配置调整。

4月23日星期四

X · @op7418(歸藏)

Claude 桌面端能接第三方模型了,走开发者模式填 API 就行

有人在 Claude 桌面端发现一个入口:不登录状态下,从 Help → Troubleshooting 开启开发者模式,重启后右上角会多出 Developer 选项,里面可以配置第三方推理服务的 API 地址和 Key,点 Apply locally 就能用。

推荐理由:Claude 桌面端在未登录状态下可通过开发者模式配置第三方推理服务的 API 地址和 Key,这条给出了从 Help 菜单开启到 Apply locally 生效的完整操作路径。

Hugging Face 博客

在 Chrome 插件里跑本地 AI:一份给开发者的架构避坑指南

Hugging Face 发了一篇技术指南,拆解了他们刚做的 Chrome 插件“Transformers.js Gemma 4 浏览器助手”。核心是把 Gemma 4 E2B 模型塞进浏览器的后台 Service Worker 里本地运行,不靠云端。

推荐理由:Hugging Face 拆解了把 Gemma 4 E2B 放进 Chrome 后台 Service Worker 本地运行的插件架构,涉及 MV3 环境下的工程取舍。

FT · 科技

特斯拉把资本支出计划提到 250 亿美元,马斯克在 AI 上继续加注

特斯拉把资本支出计划上调到 250 亿美元,马斯克要把更多钱砸向 AI 相关项目。从 RSS 片段看,这些项目包括自动驾驶出租车、卡车、机器人以及芯片工厂,增幅被形容为“非常显著”。不过正文被付费墙挡住,没披露这笔钱覆盖的时间范围、具体怎么分项,也没提模型细节。能确定的一个信号是:特斯拉在投的不只是训练模型,而是从芯片到终端产品的整套体系。

推荐理由:特斯拉将资本支出计划上调至250亿美元,资金投向自动驾驶出租车、卡车、机器人及芯片工厂,覆盖从芯片到终端产品的整条链条。

4月22日星期三

r/LocalLLaMA

ServiceNow 放出一个 15B 模型,一个权重包能切出 8 种速度档位,最快解码吞吐量翻 10 倍

ServiceNow 在 Hugging Face 上发了 SuperApriel-15B-Instruct,一个 15B 参数的指令模型。

推荐理由:ServiceNow 发布 15B 指令模型 SuperApriel-15B-Instruct,单个权重包可切出 8 种速度档位,最快解码吞吐量提升 10 倍,部署时能在同一模型内调整延迟与质量的取舍。

OpenAI News

OpenAI 给 Responses API 加了 WebSocket,让 Codex 这类 agent 跑起来更快

OpenAI 发现,当模型推理速度从每秒 65 个 token 飙到近 1000 个 token 时,API 本身的处理开销反而成了拖慢 agent 循环的瓶颈。

推荐理由:OpenAI 为 Responses API 加入 WebSocket 长连接与连接级缓存,针对模型推理提速后 API 处理开销成为 agent 循环瓶颈的情况,减少反复建连与重复请求的成本。

量子位 · 公众号

商汤绝影把32B总参、3B激活的模型塞进车机,跑分压过GPT-5.4和Opus 4.6

商汤绝影发布了一个叫Sage的车载端侧多模态模型,总参数32B,但每次推理只激活3B参数。它在PinchBench上拿了94%,比Claude Opus 4.6的93.3%和GPT-5.4的90.5%都高。模型跑在Nvidia OrinX上,首字延迟约0.5秒,单token生成约0.03秒,吞吐80 tok/s。

推荐理由:商汤绝影发布车载端侧多模态模型Sage,32B总参数每次只激活3B,在PinchBench上以94%超过Claude Opus 4.6和GPT-5.4,并给出OrinX上的延迟与吞吐数据。

机器之心 · 公众号

苹果把 Transformer 改成了 Mamba,推理成本从平方级压到线性

苹果发了一篇技术文章,讲怎么把一个训好的 Transformer 模型(Pythia-1B)蒸馏成 Mamba 架构,让推理时的计算量从平方级降到线性。他们没直接硬蒸,因为直接蒸效果会崩(困惑度直接飙到 100 以上)。实际分了两步:先把 Transformer 的注意力换成一种叫 Hedgehog 的线性注意力,让模型适应线性计算。

推荐理由:苹果把已训好的 Pythia-1B 分两步蒸馏成 Mamba 架构,推理计算量从平方级降到线性,为现成 Transformer 转线性注意力提供了一条可复用的路径。

机器之心 · 公众号

荣耀在 MagicBook 上预装 YOYO 爪,管它叫全球首款“智能体笔记本”

荣耀把 YOYO 智能体直接做进了 MagicBook 系统里,出厂自带 5 个主智能体和 23 个子智能体。官方说这套方案比外接 OpenClaw 省一半的 token 消耗,还加了本地处理、二次确认和内核级加密。说白了就是把智能体打包成笔记本默认功能,不用自己折腾部署。

推荐理由:荣耀把 YOYO 智能体预装进 MagicBook 系统,出厂自带 5 个主智能体和 23 个子智能体,并称比外接 OpenClaw 省一半 token 消耗,智能体由此成为笔记本的默认能力而非自行部署的附加项。

4月21日星期二

FT · 科技

Anthropic 和亚马逊谈了个 1000 亿美元的算力基建大单

Anthropic 跟亚马逊达成了一项总规模 1000 亿美元的 AI 基础设施协议,核心是锁定芯片和算力供应。今年 Anthropic 出过几次服务中断,这次合作主要是为了把计算容量提前占住,而不是普通的战略合作。不过正文被付费墙挡住了,具体的合同期限、钱怎么付、芯片从哪来、交付规模这些关键信息都没披露。

推荐理由:Anthropic 与亚马逊签下 1000 亿美元算力协议,锁定芯片与计算容量,此前服务中断的背景让这笔供给保障更具体。

X · @AnthropicAI

Anthropic 跟亚马逊扩大合作,给 Claude 锁定了最多 5 吉瓦的算力

Anthropic 宣布加深与亚马逊的合作,为训练和部署 Claude 锁定了最高 5 吉瓦的算力。这批算力从这个季度开始陆续到位,到 2026 年底预计先上线近 1 吉瓦。5 吉瓦是个什么概念?大概相当于几个大型数据中心的满负荷运转,说明他们接下来要把模型规模或服务量再往上拉一个台阶。

推荐理由:Anthropic 与亚马逊扩大合作,为训练和部署 Claude 锁定最高 5 吉瓦算力,其中近 1 吉瓦预计 2026 年底前上线,这条交代了其算力储备的推进节奏。

彭博科技

Google 要发新的 AI 推理芯片,直接跟英伟达抢生意

Bloomberg 这条视频提到 Google 准备推出一批专做推理的新 AI 芯片,正面挑战英伟达。不过正文被付费墙挡了,没披露具体发布时间、型号、性能参数、定价和客户。我会先打个折:目前能确认的信号是推理芯片的供给竞争在升温,但产品到底多能打、什么时候落地,都还是未知数。

推荐理由:Google 准备推出专做推理的新 AI 芯片,与英伟达在同一环节正面竞争,这条消息把推理芯片供给端的竞争态势摆了出来。

彭博科技

Google 本周要发新一代 TPU,专做推理

Bloomberg 的视频预告说 Google 这周会公布新的定制芯片,定位是 AI 推理任务。正文被付费墙挡了,没拿到具体型号、性能、功耗和价格。我会先打个折:重点不是又发芯片了,而是这批 TPU 能不能把推理成本打下来、供货稳不稳。

推荐理由:Google 本周将发布新一代定制 TPU,定位 AI 推理任务,在型号、性能与价格尚未公开的情况下,发布本身透露出算力供给方向的一层信号。

4月20日星期一

Import AI

华为搞了个 HiFloat4 训练格式,在自家昇腾芯片上跑赢了西方主导的 MXFP4

华为的研究员在自家昇腾 NPU 上测试了一种叫 HiFloat4 的 4 比特训练格式,跟西方主导的 MXFP4 格式比,HiFloat4 的精度损失更小。具体来说,在 Llama 和 Qwen 模型上,HiFloat4 跟全精度 BF16 基准的误差能控制在 1% 左右,而 MXFP4 即使加了随机舍入等一堆稳定技巧,误差也有 1.5%。

推荐理由:华为研究员在昇腾 NPU 上测试 4 比特训练格式 HiFloat4,与 MXFP4 相比在 Llama 和 Qwen 上精度损失更小,误差约 1% 对 1.5%。

r/LocalLLaMA

用一张 RTX 4090 跑 Gemma 4 26B,从 2400 份财报电话会里挖交易信号,一个有效,一个差点骗过我

一位 Reddit 用户用 800 份标注过的财报电话会记录微调了 Gemma 4 26B,然后在一张 RTX 4090 上花了约 14 小时,推理了 3 年内共 2400 份记录。在 600 份样本外数据上,一个信号显示:CFO 指引越含糊,公司股价在 5 天内相对板块平均跑输约 1.8%,信息系数(IC)为 0.04。

推荐理由:一位 Reddit 用户用 800 份标注财报电话会微调 Gemma 4 26B,在单张 RTX 4090 上推理 2400 份记录,其中一个信号在 600 份样本外数据显示 CFO 指引越含糊,股价 5 日内相对板块跑输约 1.8%。

4月19日星期日

r/LocalLLaMA

Cloudflare 开源 Unweight:把大模型权重压缩 22%,输出结果一个字节都不差

Cloudflare 发了一个叫 Unweight 的压缩方案,专门解决大模型在 GPU 上跑时被显存带宽卡脖子的问题。它只压缩 BF16 格式里的指数位,不碰尾数,所以解压后能还原出完全一致的输出。实测一个 8B 模型能省下约 3GB 显存,压缩率在 15% 到 22% 之间。

推荐理由:Cloudflare 开源 Unweight,只压缩 BF16 权重里的指数位,解压后输出与原始模型完全一致,8B 模型可省约 3GB 显存。

机器之心 · 公众号

内存不够用这件事,可能要持续到2030年

日经亚洲引用供应链数据说,到2027年底全球DRAM产能可能只能满足六成需求。SK集团会长崔泰源更直接,认为短缺会拖到2030年。核心原因是产能规划跟不上:2026到2027年AI数据中心需要的DRAM年产量得增长12%,但厂商实际只安排了7.5%的扩产计划,而且新增产能优先给了高带宽内存(HBM),消费级内存被挤到一边。

推荐理由:日经亚洲与SK集团会长崔泰源分别给出2027年底DRAM产能仅满足六成需求和短缺延续至2030年的判断,AI数据中心扩产缺口与HBM挤占消费级产能构成短缺的结构性背景。

TechCrunch · AI

AI 芯片公司 Cerebras 提交上市申请

Cerebras 已经向 SEC 交了招股书,准备在五月中旬上市。这家公司做的是巨型 AI 芯片,主打训练和推理速度。文章只披露了两笔大单:一是 AWS 会在自家数据中心用 Cerebras 的芯片;二是跟 OpenAI 签了合同,报道说价值超过 100 亿美元。CEO 放话称从英伟达手里抢走了 OpenAI 的快速推理业务。

推荐理由:Cerebras 递交招股书准备五月中旬上市,招股书披露 AWS 将在自家数据中心部署其芯片,并与 OpenAI 签下价值超 100 亿美元的合同。

r/LocalLLaMA

Moonshot 说 Kimi Linear 能让 KV 缓存跨数据中心传输,实测吞吐量提升 1.54 倍、首 token 延迟降 64%

Moonshot 提出一种叫“预填充即服务”的玩法,把大模型推理拆成预填充和解码两个阶段,分别跑在不同数据中心甚至不同硬件上。核心靠的是他们 Kimi Linear 模型,KV 缓存体积小到可以跨机房传。用放大 20 倍的模型测,吞吐量提到 1.54 倍,P90 首 token 延迟降了 64%。

推荐理由:Moonshot 把大模型推理的预填充与解码拆到不同数据中心,靠 Kimi Linear 压缩 KV 缓存实现跨机房传输,并给出吞吐量提升 1.54 倍、P90 首 token 延迟降 64% 的实测结果。

4月18日星期六

Hacker News 首页

rtrvr.ai 把浏览器操作录成脚本,重放零 token 成本,还能让 AI 直接调用

rtrvr.ai 做了一个叫 AI Subroutines 的功能,核心思路是把你在浏览器里的一次操作录下来,变成一个可重复调用的工具脚本。重放时脚本直接在当前网页里跑,cookie、CSRF token、签名头这些认证信息全都不用手动处理,浏览器自己就带上了。

推荐理由:rtrvr.ai 把浏览器里的一次操作录成可重复调用的脚本,重放时直接在当前页面执行,登录态和请求签名由浏览器自带,省去反复调用模型的开销。

彭博科技

AI 芯片公司 Cerebras 再次公开提交赴美上市申请

Cerebras 又向美国监管机构交了公开版的 IPO 申请文件。正文没披露这次打算融多少钱、估值多少、由哪几家投行承销,也没说具体上市时间表,所以这还只是提交申请,不等于已经获批上市。

推荐理由:Cerebras 再次公开提交赴美上市申请,但募资规模、估值、承销商和上市时间表均未披露,目前仅能确认申请已递交,尚不代表获批。

4月17日星期五

Hacker News 首页

AI 算力开始不够用了

Nvidia Blackwell GPU 的租赁价两个月内从每小时 2.75 美元涨到 4.08 美元,涨了 48%。CoreWeave 也把价格上调了 20%,最低租期从一年拉长到三年。OpenAI 的 CFO 说他们已经在砍项目,因为算力跟不上。Anthropic 最新的模型只给了大约 40 家机构用。

推荐理由:英伟达 Blackwell GPU 租赁价两个月涨了 48%,CoreWeave 提价两成并把最低租期拉到三年,OpenAI 已因算力不足砍项目,前沿模型的获取门槛正被成本抬高。

r/LocalLLaMA

Qwen3.6 新增 preserve_thinking 开关,修了上一代多轮对话“失忆”的 bug

Qwen3.6 模型页面上多了一个 preserve_thinking 参数,默认要打开。它的作用是把模型上一轮的思考过程原样保留在上下文里,而不是像 Qwen3.5 那样每次重新序列化,导致 KV 缓存失效、模型记不住自己刚想过什么。作者给了一个很直观的测试:先让模型想两个 20 位数字,只说出第一个;下一轮再问第二个。

推荐理由:Qwen3.6 模型页新增 preserve_thinking 开关,开启后上一轮思考过程会保留在上下文中,避免 Qwen3.5 因重新序列化导致 KV 缓存失效、多轮对话记不住前文。

X · @dotey(宝玉)

xAI 开始出租闲置 GPU,第一个客户是估值 500 亿美元的编程工具 Cursor

xAI 把数万块 GPU 租给 Cursor 训练编程模型 Composer 2.5,自己从模型公司变成了半个云服务商。总裁在内部备忘录里承认,公司 20 万块 GPU 的模型算力利用率只有 11%,远低于行业 35% 到 45% 的水平,大部分算力在空转,出租是为了回血。

推荐理由:xAI 将数万块 GPU 租给 Cursor 训练编程模型,其 20 万块 GPU 的算力利用率仅 11%,远低于行业 35% 到 45% 的水平。

4月16日星期四

Hacker News 首页

Darkbloom:用闲置 Mac 跑加密推理,号称比 OpenRouter 便宜七成

Eigen Labs 搞了个叫 Darkbloom 的去中心化推理网络,把一亿多台苹果芯片 Mac 的闲置算力攒起来卖。它提供兼容 OpenAI 的 API,主打端到端加密和硬件验证,说操作节点的人看不到你的数据。价格表上列出的 token 费用比 OpenRouter 低 50%,不是标题里的 70%,这点先打个折。

推荐理由:Eigen Labs 把一亿多台苹果芯片 Mac 的闲置算力组成去中心化推理网络,提供兼容 OpenAI 的 API 并主打端到端加密,其 token 费用比 OpenRouter 低 50%。

Dwarkesh Patel 访谈

黄仁勋回怼芯片禁令:别把 AI 芯片比作浓缩铀,放弃中国市场是输家心态

黄仁勋在这段视频里直接反驳了美国对华芯片出口限制的几个常见论点。他先质疑,为什么不能制定更平衡的规则,让英伟达在全球竞争,而不是主动放弃世界市场。接着他点名批评了 Dario 把卖 AI 芯片比作“波音给朝鲜核弹造导弹外壳”的说法,直言把 AI 比作浓缩铀是“糟糕且不合逻辑的类比”。

推荐理由:黄仁勋在视频中反驳美国对华芯片出口限制,并批评把 AI 芯片比作浓缩铀的类比,直接回应了出口管制的常见论点。

Dwarkesh Patel 访谈

黄仁勋谈英伟达护城河:不是芯片设计,是把电子变成 token 的那一整条供应链

黄仁勋把英伟达的生意概括成一句话:输入电子,输出 token,中间是英伟达。他认为护城河不在某颗芯片的设计,而在于把电子变成有价值的 token 这件事本身极其复杂,涉及大量科学和工程,短期内很难被商品化。

推荐理由:黄仁勋把英伟达的护城河归到把电子变成 token 的整条供应链上,涉及大量科学与工程,短期内难以被商品化,这条给出他对竞争壁垒所在环节的直接判断。

4月14日星期二

X · @dotey(宝玉)

Claude Code 关掉遥测后缓存从 1 小时掉到 5 分钟,工程师解释是实验开关失效,不是故意惩罚

开发者 Can Vardar 发现 Claude Code 关闭遥测后,提示缓存时间从 1 小时骤降到 5 分钟,他算了一笔账说这是用隐私换 12 倍性能。Anthropic 工程师 Boris Cherny 回应说,1 小时缓存写入成本高、读取成本低,不是无条件更好,如果你只跑一次查询就走,1 小时缓存反而浪费钱。

推荐理由:开发者发现关闭遥测后 Claude Code 提示缓存从 1 小时降到 5 分钟,Anthropic 工程师回应称 1 小时缓存写入成本高、读取成本低,只跑一次查询时反而更费钱。

4月13日星期一

最佳拍档

谷歌CEO皮查伊:2027年是企业AI落地爆发年,搜索不会死,会变成替你干活的管家

谷歌CEO皮查伊在2026年4月的一次专访里,把家底和判断都摊开了。他说明年(2027年)会是企业AI agent workflow(让模型进业务流程干活)的爆发点,AI将从程序员提效工具变成非技术岗位的智能核心。

推荐理由:谷歌CEO皮查伊在专访中判断2027年是企业AI agent工作流的爆发点,AI将从程序员提效工具转为非技术岗位的智能核心。

4月10日星期五

X · @dotey(宝玉)

Anthropic 新 API 让便宜模型干活、贵模型当军师,Haiku 配 Opus 在 BrowseComp 分数翻倍,成本只要 Sonnet 的 15%

Anthropic 推出了“顾问工具”API,让 Sonnet 或 Haiku 作为执行者跑任务,遇到难决策时把上下文递给 Opus 出主意,Opus 不碰工具、不直接输出,只当幕后军师。这跟常见的“大模型拆任务、小模型执行”反过来了,好处是大部分 token 烧在便宜模型上。

推荐理由:Anthropic 上线顾问工具 API,让 Haiku 或 Sonnet 执行任务、卡壳时请 Opus 出主意,Haiku 配 Opus 在 BrowseComp 上从 19.7% 升到 41.2%,成本为 Sonnet 的 15%。

4月8日星期三

MIT Technology Review · AI

微软 AI 老大苏莱曼:AI 发展离撞墙还早,算力暴涨是核心

这是微软 AI 的 CEO 苏莱曼在《麻省理工科技评论》上发的评论文章,不是独立研究,立场上我会先打个折。他的核心论点是:AI 训练用的算力从 2010 年到现在涨了 1 万亿倍,从 10 的 14 次方次浮点运算涨到 10 的 26 次方,所以短期内不会撞墙。他给了几个具体数字:英伟达芯片六年里单颗性能翻了 7 倍多。

推荐理由:微软 AI 负责人苏莱曼在评论文章中给出算力从 10 的 14 次方涨到 10 的 26 次方、英伟达单颗芯片六年性能翻 7 倍等数字,支撑其 AI 短期不会撞墙的判断。

4月7日星期二

Latent Space

Gemma 4 首周下载量破 200 万,本地跑模型成了新趋势

Google 的 Gemma 4 上线第一周就冲到约 200 万次下载。做个对比:Gemma 3 过去一年总共 670 万次,Gemma 2 从 2024 年 6 月到现在 140 万次,而 Qwen 3.5 在大约一个半月里拿了约 2700 万次。

推荐理由:Gemma 4 首周下载约 200 万次,Gemma 3 用一年才到 670 万,Qwen 3.5 一个半月约 2700 万,这组数字勾勒出开源模型采用速度的差异。