这篇论文主张:输入处理用低精度加速,输出生成用高精度保质量
论文 arXiv 2605.20315 提出一个混合精度策略:在预填充阶段用 W4A4 量化,理论上能把输入处理速度提升 4 倍;但解码阶段仍用原始高精度,因为激活值的量化误差会扰动采样出的 token,并在自回归生成中逐步累积,导致输出质量下降。
推荐理由:论文提出预填充阶段用 W4A4 量化、解码阶段保留高精度,理论上输入处理可提速 4 倍,同时避免激活量化误差在自回归生成中累积影响输出质量。
论文 arXiv 2605.20315 提出一个混合精度策略:在预填充阶段用 W4A4 量化,理论上能把输入处理速度提升 4 倍;但解码阶段仍用原始高精度,因为激活值的量化误差会扰动采样出的 token,并在自回归生成中逐步累积,导致输出质量下降。
推荐理由:论文提出预填充阶段用 W4A4 量化、解码阶段保留高精度,理论上输入处理可提速 4 倍,同时避免激活量化误差在自回归生成中累积影响输出质量。
NVIDIA 在 COMPUTEX 2026 上靠 Vera Rubin NVL72、Jetson Thor 和 Alpamayo 拿了四个 Best Choice 奖。
推荐理由:NVIDIA 在 COMPUTEX 2026 凭 Vera Rubin NVL72、Jetson Thor 和 Alpamayo 拿下四个 Best Choice 奖,其中 NVL72 给出的推理能效数字比上代高 10 倍。
Fireworks 在 WebVoyager 上跑了 720 个浏览器智能体任务,发现平均有 22.9% 的推理调用属于无效消耗,他们管这个叫“Agent 执行税”——也就是为了完成任务,模型多做的无用功。具体到各家模型:MiniMax M2.5 每成功完成一个任务的成本比 Gemini 低了 2.3 倍;GLM-5 的任务成功率做到 57.1%。
推荐理由:Fireworks 在 WebVoyager 上跑了 720 个浏览器智能体任务,测得平均 22.9% 的推理调用属于无效消耗,并据此提出衡量选型隐性成本的 Agent 执行税指标。
totosse17 做了一个叫 LLMRequirements 的硬件规划工具,整理了 60 多套装机方案、50 多个模型,还附了 130 多个有来源标注的每秒 token 生成速度、150 多个评测视频。它会标每套配置的待机功耗和满载功耗,价格覆盖多个地区,数据放在 GitHub 上公开更新。
推荐理由:作者 totosse17 把 60 多套本地模型装机方案与 50 多个模型的实测生成速度、待机满载功耗和多地区价格整理成公开数据集,方便按用途或预算直接比对。
SpaceX 在 S-1 上市申请里写明了这笔交易的价码:Anthropic 每月要付 12.5 亿美元,一直付到 2029 年 5 月,用来使用位于孟菲斯的 Colossus I 和 Colossus II 两座 AI 训练中心。一年算下来就是 150 亿美元,这个数字快赶上 SpaceX 2025 年全年 187 亿美元收入的两倍了。
推荐理由:Anthropic 每月向 SpaceX 支付 12.5 亿美元租用孟菲斯两座 AI 训练中心,合同持续到 2029 年 5 月,年化金额接近 SpaceX 2025 年收入的两倍。
腾讯放出了 Hy-MT2 系列翻译模型,有 1.8B、7B 和 30B-A3B 三个尺寸,支持 33 种语言互译。1.8B 小模型用上 AngelSlim 1.25-bit 量化后,存储占用压到 440MB,推理速度还快了 1.5 倍,适合本地跑。不过 Reddit 原帖被屏蔽了,正文没披露具体翻译质量评测和更多技术细节,这点先别太激动。
推荐理由:腾讯发布 Hy-MT2 系列翻译模型,含 1.8B、7B、30B-A3B 三个尺寸并支持 33 种语言互译,其中 1.8B 版经量化后存储占用降至 440MB。
腾讯放出了 Hy-MT2 多语言翻译模型,支持 33 种语言互译。7B 和 30B-A3B 两个版本在开源模型里翻译质量最好,比很多参数大几十倍的模型还强。更实用的是 1.8B 轻量版,用 AngelSlim 1.25-bit 量化技术把体积压到 440MB,主流手机芯片就能本地跑,推理速度比上一代快 1.5 倍。
推荐理由:腾讯开源 Hy-MT2 翻译模型,1.8B 轻量版经 1.25-bit 量化后仅 440MB,可在主流手机芯片本地运行 33 种语言互译,为端侧离线翻译提供了可落地的体积方案。
OpenAI 公布了一个内部通用推理模型(外界猜是 GPT 5.6)的成果:它找到了平面单位距离问题的新构造族,推翻了 1946 年 Erdős 提出的一个猜想。这个模型不是专门为数学训练的,就是普通的语言模型,但推理过程生成了约 125 页的总结。有外部观察者推测,这次运行只用了不到 32 小时,成本不到 1000 美元。
推荐理由:OpenAI 一个通用推理模型推翻了 1946 年 Erdős 提出的平面单位距离猜想,其推理过程生成约 125 页总结,外部观察者推测运行不到 32 小时、成本不到 1000 美元。
这篇论文正文被微信环境验证挡住了,看不到具体技术细节。从标题和已知信息看,他们提出了一种叫 DeG 的 3D 生成方法,核心思路是让模型自己学会在物体细节丰富的地方多放高斯点、在平坦区域少放点,而不是均匀撒点。这样能用不到一半的高斯点数量,达到跟 TRELLIS 差不多的画面质量。
推荐理由:VAST 与清华提出 DeG 方法,让模型按物体细节密度分配高斯点,用不到一半的点数达到 TRELLIS 相近画质。
智谱把自研的 ZCube 通信方案用到了 GLM-5.1 的线上推理集群里,规模是千卡级别。它替换了原来的 ROFT 组网方式,但没动 GPU、软件栈和业务代码。效果上,吞吐量提升了超过 15%,首 token 延迟的 P99 下降了 40.6%,交换机加光模块的成本省了三分之一。
推荐理由:智谱在 GLM-5.1 千卡推理集群用自研 ZCube 替换原有组网,不动 GPU 和业务代码,吞吐提升超 15%,首 token 延迟 P99 降 40.6%。
根据一份证券文件,Anthropic 跟马斯克的 SpaceX 签了份大单:未来三年支付差不多 450 亿美元,换取计算资源来支撑它的 Claude 模型。这笔钱摊下来每年约 150 亿美元,说明头部 AI 公司抢算力的成本已经拉到天文数字级别。不过正文被 Bloomberg 的机器人验证挡住了,具体是租 GPU 还是包数据中心、交付节奏和退出条款都没披露。
推荐理由:Anthropic 与 SpaceX 签下三年约 450 亿美元算力协议,年均约 150 亿美元,头部 AI 公司争夺算力的成本量级由此有了具体参照。
Anthropic 租下了 xAI 在孟菲斯 Colossus 1 数据中心的全部算力,每月账单 12.5 亿美元,合同签到 2029 年 5 月。头两个月有折扣,因为 xAI 那边还在爬坡。这笔钱来自 SpaceX 的上市文件,xAI 自己说这是在把闲置算力变现。说白了,Grok 用户量最近掉得厉害,服务器空出来了,正好租给竞争对手回血。
推荐理由:Anthropic 租下 xAI 孟菲斯 Colossus 1 数据中心的全部算力,月付 12.5 亿美元、合同签到 2029 年 5 月,这笔交易来自 SpaceX 上市文件,xAI 借此把闲置算力变现。
Cohere 的 Nick Frosst 在 Reddit 上发帖,正式推出了 Command A+。这是他们第一个混合专家(MoE)模型,用 Apache 2.0 协议开源。帖子里说,这个模型最大的卖点是效率,做了很极限的量化工作,在 1 到 2 张消费级 GPU 上就能跑得很流畅,对个人开发者和小团队比较友好。
推荐理由:Cohere 联合创始人 Nick Frosst 在 Reddit 发布 Command A+,这是该公司采用 Apache 2.0 协议开源的混合专家模型,量化后在 1 到 2 张消费级 GPU 上即可运行。
英伟达刚发了 2026 财年第一季度的财报,每股收益 1.87 美元,比华尔街预期的 1.77 美元高出一截。公司对截至 7 月的当季营收指引是 910 亿美元,也明显高于市场预估的 874 亿左右。这条视频本身是彭博的报道片段,正文没披露各业务线的具体表现和毛利率细节,所以没法判断增长是数据中心业务继续拉动的,还是有别的板块在补位。
推荐理由:英伟达一季度每股收益1.87美元,高于华尔街预期的1.77美元,下季度营收指引910亿美元也高于市场预估的874亿,是观察AI基础设施需求的一手数据。
英伟达 2027 财年第一财季(截止到 2026 年 4 月 26 日)总收入 816.15 亿美元,净利润 583.21 亿美元,同比直接翻了两倍多。增长主要靠数据中心业务,单这一块就进账 752 亿美元,同比涨了 92%。毛利率也拉到了 75% 左右,比去年同期高了 14 个百分点。公司预计下个季度收入能到 910 亿美元,上下浮动 2%。
推荐理由:英伟达2027财年第一财季净利润583.21亿美元,同比增长211%,数据中心业务收入752亿美元,占总收入九成以上,毛利率升至75%左右。
Meta这次不是单纯砍成本,而是把人力往AI方向挪。计划裁掉约8000个岗位,同时把约7000名员工调到AI相关职位,资源集中砸在AI基础设施、基础模型开发和商业化上,想打通从模型训练、产品落地到赚钱的整条链路。
推荐理由:Meta计划裁撤约8000个岗位,同时把约7000名员工转到AI相关职位,资源集中投向AI基础设施、基础模型与商业化。
Perplexity 把一项叫“查询感知压缩”的技术用到了线上。它能在搜索时把喂给模型的上下文 token 最多减少 70%,同时回答质量还提升了。核心逻辑是“更好的上下文优于更多的上下文”,也就是先理解你问什么,再挑最相关的信息塞进窗口,而不是一股脑全丢进去。
推荐理由:Perplexity 将查询感知压缩用于线上搜索,喂给模型的上下文 token 最多减少 70%,回答质量反而提升,其先理解问题再筛选信息的做法提供了压缩与效果兼顾的参考。
阿里平头哥的真武 M890 AI 芯片首次公开,主打 Agent 场景的算力底座。配套的 128 卡超节点服务器,卡间直连延迟低于 150 纳秒,机架带宽达到 Pb/s 级别。这套硬件已经在阿里云百炼平台跑起来了,支持通义千问、DeepSeek 和 Kimi 等模型。
推荐理由:阿里平头哥公开真武 M890 AI 芯片,配套 128 卡超节点服务器已在百炼平台上线,支持通义千问、DeepSeek 和 Kimi 等模型,可了解国产 AI 芯片在 Agent 场景的落地进展。
摩尔线程放出了自家 GPU 生态 MUSA 的最新进展。SDK 5.1.0 把兼容目标拉到了 CUDA 12.8,覆盖了 761 个驱动和运行时接口,意思是跑 CUDA 代码时能认的指令更多了。推理框架 SGLang 的主线代码已经合并了 MUSA 的支持,硬件支持排期在 2026 年第二季度。
推荐理由:摩尔线程 SDK 5.1.0 将兼容目标对齐 CUDA 12.8,覆盖 761 个驱动和运行时接口,SGLang 主线也已合并 MUSA 支持,硬件排期在 2026 年第二季度。
一个 Reddit 用户用 4 张 RTX 2080 Ti 显卡(总预算不到 2500 美元)在本地跑起了 DeepSeek-V4-Flash 模型。模型总参数 2840 亿,每次推理激活 130 亿参数。他用了 W8A8 量化(把权重和激活值都压到 8 位精度)来省显存,还自己写了适配老 Turing 架构的 CUDA 算子。
推荐理由:一位 Reddit 用户用 4 张二手 RTX 2080 Ti,配合 W8A8 量化和自写 Turing CUDA 算子,在不到 2500 美元预算下本地跑起 284B 参数的 DeepSeek-V4-Flash,预填充约 255 token/s。
Tomasz Tunguz 对比了 Google、OpenAI 和 Anthropic 三家最新旗舰模型的 API 定价,发现补贴正在退潮。Google Gemini 3.1 Pro 最便宜,输入每百万 token 2 美元、输出 12 美元;OpenAI GPT-5.5 短暂补贴后涨到输入 5 美元、输出 30 美元。
推荐理由:三家旗舰模型 API 定价被放在一起比较,Google Gemini 3.1 Pro 输入每百万 token 2 美元、输出 12 美元,OpenAI GPT-5.5 补贴后涨至输入 5 美元、输出 30 美元。
谷歌在 I/O 大会上直接发布了 Gemini 3.5 Flash,跳过预览阶段。输入价格涨到每百万 token 1.5 美元,输出 9 美元,分别是上一代 Flash 预览版的 3 倍和 Flash-Lite 的 6 倍,已经快追上自家的 Pro 型号了。
推荐理由:谷歌在 I/O 大会跳过预览直接发布 Gemini 3.5 Flash,输入输出价格涨至每百万 token 1.5 美元和 9 美元,接近自家 Pro 型号,与上一代 Flash 及 Flash-Lite 的定价差距明显。
OpenAI 上线 Guaranteed Capacity 服务,让客户提前锁定长期算力,避免高峰期排队。官方说法是帮企业在算力紧张时也能跑关键任务。但公告没披露价格、合同年限、最低配额,也没说锁的是哪种 GPU。我会先打个折——这更像给大客户吃定心丸,小团队暂时不用激动。
推荐理由:OpenAI 上线 Guaranteed Capacity 服务,让客户提前锁定长期算力以避开高峰期排队,但公告未披露价格、合同年限和最低配额。
Google 发布了 Tensor ML SDK 的公开测试版,开发者现在能把 PyTorch 或 TFLite 模型转换、编译后,直接调用 Pixel 10 系列手机里的 TPU 芯片来跑推理。整个流程通过 LiteRT 这个统一框架完成,不用再分别对接底层硬件驱动。
推荐理由:Google 发布 Tensor ML SDK 公开测试版,开发者可将 PyTorch 或 TFLite 模型转换编译后直接调用 Pixel 10 手机里的 TPU 跑推理,流程统一由 LiteRT 框架完成。
英伟达发了 Nemotron-Labs-Diffusion 系列,包含 3B、8B 和 14B 三个稠密模型。这组模型同时支持传统的自回归解码和新的扩散并行解码,还带了一种叫 self-speculation 的加速技巧。
推荐理由:英伟达发布 Nemotron-Labs-Diffusion 系列,3B 到 14B 三个稠密模型同时支持自回归与扩散并行解码,并加入 self-speculation 加速技巧。
Google 在 I/O 后开放了 Gemini 3.5 Flash,产品端和 API 都能用。官方说它在多数基准测试上比 3.1 Pro 强,编程能力提升明显,每秒吐 token 的速度是其他前沿模型的 4 倍。不过帖子没给具体跑分数字和测试条件,这点先别太激动。
推荐理由:Google 在 I/O 后开放 Gemini 3.5 Flash,产品端和 API 均可使用,官方称其多数基准测试强于 3.1 Pro,生成速度达其他前沿模型的 4 倍。
谷歌在 I/O 大会上推出了 Gemini 3.5 Flash,官方说它在很多基准测试里比自家 3.1 Pro 强。最直观的卖点是快:输出速度达到每秒 289 个 token,对比的是 Claude Opus 4.7 和 GPT-5.5 xhigh,快了大约四倍。
推荐理由:谷歌在 I/O 发布 Gemini 3.5 Flash,输出速度达每秒 289 个 token,约为 GPT-5.5 xhigh 与 Claude Opus 4.7 的四倍。
Anbeeld 用一张 RTX 3090 跑 Qwen 3.6 27B,在 64k 和 128k 上下文长度下测了 KV 缓存量化。先说结论:q4_0 在尾部 token 上的 KLD 比 q5_0 差了 32%,精度掉得明显;turbo4 比普通 q4_0 还慢 17%,显存却没省下多少,有点名不副实。
推荐理由:Anbeeld 在 RTX 3090 上测 Qwen 3.6 27B 的 KV 缓存量化,给出 q4_0 尾部 KLD 比 q5_0 差 32%、turbo4 比 q4_0 慢 17% 等具体数字。
谷歌在 I/O 大会上放出了 Antigravity 2.0 平台,已经对全球用户开放。现场演示里,他们让智能体从零构建了一个能跑起来的操作系统,只用了 12 小时。具体做法是同时跑 93 个子智能体,总共调了超过 1.5 万次模型、处理了 26 亿个 token,最后算下来 API 成本不到 1000 美元。
推荐理由:谷歌在 I/O 演示中用 93 个并行子智能体、1.5 万次模型调用和 26 亿 token,12 小时从零构建出可运行的操作系统,API 成本不到 1000 美元。
Google 推出了 Gemini 3.5 Flash,官方说法是它在快速、高效完成任务上目前最强。定位是处理日常任务和多步骤创意项目,强调能应对现实世界的复杂情况。不过正文没披露价格、上下文窗口大小、跑分成绩和 API 可用条件,这些关键信息得等后续公布。
推荐理由:Google 发布 Gemini 3.5 Flash,主打快速高效处理日常任务与多步骤创意项目,官方称其为当前同类最快最强,价格与上下文窗口等参数尚未公布。
一位用户在 RTX 3060 笔记本(6GB 显存)上拿 VoiceFlow 1.6.0 测了两款小模型,看谁能在本地把一段 4 分钟的会议转成纪要。Qwen3.5 0.8B 在 16K 上下文窗口下花了 57 秒完成总结,结果可用。
推荐理由:用户在 6GB 显存的 RTX 3060 笔记本上实测两款小模型,Qwen3.5 0.8B 用 57 秒完成 4 分钟会议总结,Granite 4 350M 虽快却会编造内容。
NVIDIA 把 LongLive 2.0 整套训练和推理代码都放出来了,主打 FP4 量化加并行加速,在 50 亿参数的模型上能跑到每秒 45.7 帧,比很多短视频方案还快。它支持真实视频训练、蒸馏、多镜头生成、序列并行、KV 缓存优化和异步解码部署,专门解决以前长视频生成要么慢到没法用、要么只能做几秒片段的毛病。
推荐理由:NVIDIA 将 LongLive 2.0 的训练与推理代码全部开源,在 50 亿参数模型上以 4-bit 量化实现每秒 45.7 帧,为长视频生成的低成本部署提供了可复用的工程路径。
Forge 是一个 Python 框架,专门给自部署的大模型做工具调用和多步骤智能体流程。它给 Ministral 8B 这个开源小模型套了五层护栏,在 18 个多步骤智能体场景里把任务成功率从 53% 直接提到 99.3%。作者说这背后有篇被 ACM CAIS ’26 录用的论文撑腰,覆盖了 97 种模型和后端组合,每个场景跑了 50 次。
推荐理由:Forge 用五层护栏把 Ministral 8B 在 18 个多步骤智能体场景的任务成功率从 53% 提到 99.3%,覆盖 97 种模型与后端组合,为自部署小模型做工具调用的团队提供了一套可迁移的护栏思路。
地平线机器人实验室把一个人形机器人全身控制模型 HoloMotion-1 开源了,参数规模 4 亿,他们管它叫“机器人小脑”。这个模型用了 MoE 稀疏激活和 KV-cache 推理,把单步推理开销压下来,在端侧能跑到约 300FPS,比常见的 50Hz 控制频率高出一大截。
推荐理由:地平线机器人实验室开源了 4 亿参数的人形机器人全身控制模型 HoloMotion-1,靠 MoE 稀疏激活和 KV-cache 把端侧推理做到约 300FPS,远高于常见的 50Hz 控制频率。
Vlad Feinberg 写了一篇求职笔记,把进前沿实验室的门槛讲得很直白:核心能力是底层性能调优,也就是能动手改内核(kernel),让模型训练真的跑得动。他给了一道具体的面试题——先推导 Chinchilla 缩放定律,并比较它在稠密模型和 MoE(混合专家)架构下的区别。
推荐理由:Vlad Feinberg 的求职笔记指出,进前沿实验室做预训练的核心能力是底层性能调优,并给出推导 Chinchilla 缩放定律、比较稠密模型与 MoE 架构差异的面试题。
摩尔线程推出了 MT Lambda 仿真平台,把物理引擎、渲染和 AI 模型训练整合到一起,用自家的 GPU 跑通了从模拟到真机的完整流程。现场演示的机器狗“小飞”在仿真里学会走路后,直接迁移到实物上就能跑。不过正文因为需要验证码没能完整抓取,具体的技术参数、训练时长和成功率数据都没披露,这点先别太激动。
推荐理由:摩尔线程发布 MT Lambda 仿真平台,将物理引擎、渲染与 AI 训练整合在自家 GPU 上,机器狗小飞在仿真中学会走路后直接迁移到实物。
Odyssey 发布了一个叫 Agora-1 的世界模型,主打实时生成可玩的 FPS 场景,最多支持四个真人或 AI 玩家在同一张图里对战。它把物理模拟和画面渲染拆开跑,训练数据用的是《黄金眼》游戏内部状态,不是单纯看视频学样子。正文没披露具体延迟和硬件成本,所以实际跑起来卡不卡、贵不贵还不清楚。
推荐理由:Odyssey 发布 Agora-1 世界模型,支持四名真人或 AI 玩家在同一张 FPS 地图对战,训练数据取自《黄金眼》游戏内部状态,物理模拟与画面渲染分开运行。
这篇文章是机器之心翻译的 Sebastian Raschka 博客,盘点了几款新模型的架构改动,核心都在想办法降低长上下文的显存开销。Gemma 4 的 E2B 方案在 128K 上下文、bfloat16 精度下,KV 缓存能省大约 2.7GB,这个数字挺实在的。
推荐理由:Sebastian Raschka 梳理了 Gemma 4 到 DeepSeek V4 几款新模型的架构改动,主线是降低长上下文显存开销,其中 Gemma 4 的 E2B 方案在 128K 上下文下 KV 缓存可省约 2.7GB。
FT 这篇报道的正文被安全验证页挡住了,只从现有摘要能看出:一家黑石投资的 AI 云厂商拿到了 50 亿美元投资,计划明年上线 500 兆瓦的数据中心容量。标题里提到 Google 在推芯片,但正文没披露用的是 TPU 还是自研 Arm 芯片、以什么形式合作——是租算力、联合部署还是单纯采购。这点先别太激动,等看到全文再判断。
推荐理由:黑石投资的 AI 云厂商获 50 亿美元投资,计划明年上线 500 兆瓦数据中心容量,Google 芯片合作的具体形式尚未公开。
谷歌要把自家的 TPU 芯片拿出来对外卖算力了,这次拉上了管钱的黑石。新公司名字还没公布,黑石先投 50 亿美元股权,算上杠杆总盘子预计 250 亿美元。目标是 2027 年让 500 兆瓦的数据中心跑起来,这个电量够一座中等城市用。他们手里已经锁了一批在建的数据中心,后续容量还会扩。
推荐理由:谷歌与黑石组建 AI 云公司,黑石先投 50 亿美元股权,总盘子预计 250 亿美元,计划 2027 年让 500 兆瓦数据中心跑起来。