Google 发布基于 TorchTPU 的 vLLM 与 SGLang 原生推理引擎
Google 发布基于 TorchTPU 的 vLLM 与 SGLang 原生 PyTorch 推理后端,分别与 Inferact 和 RadixArk 联合开发。
Google 发布基于 TorchTPU 的 vLLM 与 SGLang 原生 PyTorch 推理后端,分别与 Inferact 和 RadixArk 联合开发。
Google 发布适配 Google Cloud TPU 的 TorchTitan 分叉,提供分布式训练配方及按步骤执行的模型优化指南。SimpleFSDP、Graph Trainer 和 Pallas 内核支持分片、整步图捕获及计算优化,FLUX.1 案例的训练步耗时从 11.49 秒降至 2.78 秒,达到同硬件 JAX MaxDiffusion 吞吐量的约 99%。
企业 AI 的衡量重点正从 token 或 GPU-hour 单价转向"每个有用产出的有效成本",即完成可实际使用的工作所需的平台、模型、运营与容量总成本。企业可选择自建栈、按需消费或集成私有 AI 平台三种路径,HPE Private Cloud AI 将调度、模型选择、GPU 分区和缓存管理作为运营杠杆。
Cloudflare、VoidZero 与 Owner.com 的 Max Schwenk 合作开发 tsrs,将 TypeScript 编译器移植到 Rust,实验版本已可通过 npm 安装。
llm-d 项目贡献者在 PyTorch Conference North America 宣布发布 llm-d 1.0,强化生产环境中的多租户服务质量、零停机运维和智能体感知服务。
Cloudflare 发布文档数据提取模型 Clairic,已在 Workers AI 开放预览,并计划很快开放权重。模型单次处理即可返回用户指定字段的值、格式和置信度,缺失值返回 null,也支持简单计算、估算和预测。
Hazel(YC W24)正在招聘全栈工程师,负责将 AI 采购平台部署到美国联邦政府涉密网络。该岗位要求美国公民身份及 Top Secret 安全许可,工作地点在华盛顿特区,薪资 $150K-$200K 加 0.25%-0.5% 股权。技术栈包括 Python、TypeScript、React、PostgreSQL、Docker 与 AWS,并要求具备将 LLM 功能落地生产流程的经验。
Cursor 正式发布 Agent SDK,支持用代码定义智能体,并通过 agent-sdk deploy 部署到 Cursor 基础设施。该框架支持响应 PR 等事件、任务移交与并行子智能体,内置评估和事件回放,提示词与工具可纳入版本控制和审查流程。智能体也可作为单个 Node 进程在自有基础设施运行,原文链接为 https://cursor.com/blog/agent-sdk。
推荐理由:Cursor Agent SDK 将提示词、工具和评估组织为代码项目,让团队自定义智能体沿用软件的版本控制与审查流程。
投机解码之所以快,并非因为每个token的计算量更少——相同序列下总FLOPs反而更高,而是因为它把GPU从逐token解码时的内存受限状态转为计算受限状态,用闲置算力换取速度。在batch size远小于最优token数时,投机解码能利用"免费"算力加速;但batch较大时反而浪费算力,因此vLLM提供--speculative-disable-by-batch-size参数可关闭该功能。
DeepSeek 开源支撑其大规模生产服务的推理框架 DeepInfer,本次提供支持 DeepSeek-V4.1-Flash 的离线推理能力。框架支持优化内核、异步调度、确定性采样和结构化输出,可运行于 NVIDIA SM100 GPUs 与华为昇腾 950 NPUs,采用 Apache License 2.0。
doubleAI 推出代码执行模型 Maxwell,根据程序运行时的硬件与数据优化代码,并对每项改进进行形式化等价证明。它在 CPU 和 GPU 上运行,收集足够运行时数据后,在程序持续运行期间替换为针对当前机器的优化代码。页面称数据处理流水线加速 38 ×、AI 推理内核加速 4.25 ×,LTX-2.5 在两块 B200 上生成每段 4K 视频的耗时从 250s 降至 134 s。
面壁智能 MiniCPM-V 团队解析支撑 MiniCPM-V 4.7 端侧运行的前瞻专家调度(LES)技术,称首次实现 35B-A3B 规模 MoE 在端侧实时无损运行。iPhone 18 Pro Max 实测解码超 20 token/s。
Vite+ 在作者为期三周、覆盖四个项目的实践中,通过统一命令减少了 AI 智能体、开发者与 CI 之间的工作流歧义。作者用 vp create 创建项目,以 vp check、vp test 和 vp build 验收,并要求保留一个锁文件、避免重复引入格式化工具。
Cursor 正式推出 Agent SDK,支持以代码文件夹定义智能体、通过评估测试,并部署到 Cursor 或自有基础设施。
推荐理由:Cursor Agent SDK 将提示词、工具和技能组织为代码项目,通过本地评估与真实 PR 回放测试智能体行为。
Anthropic 与 AI 基础设施提供商 Nscale 据称正洽谈另一笔 $45 billion 算力交易,双方一个多月前已宣布同额协议。Bloomberg 援引知情人士称,双方接近宣布交易,但谈判仍在进行,细节可能改变。两家公司均在谋求 IPO,Anthropic 仍预计今年上市,Nscale 提出的 $30 billion 估值则遭遇投资者反对。
Benjamin Congdon 基于变更点监控原型,分析 AI 智能体如何结合代码与可观测性数据检测生产系统回归。原型由智能体制定监控计划、确定性系统执行计划,再由智能体调查异常并升级给人工;作者发现这种架构比纯智能体循环产生更清晰的信号,且 token 用量显著降低。
编码智能体降低了软件构建成本,但软件产品仍沿用研发资源稀缺时期的设计与品类惯例,是 Sanket Saurav 的核心判断。他指出,使用 LLM 的产品承担持续的用户推理成本,软件经济结构正从高固定成本、低边际成本转向低固定成本、较高边际成本。他主张从基本原理重新思考代码协作与 CRM,并通过整合更多相关产品突破过去“只做一件事”的限制。
Stealthium 通过运行时传感器把每次 CUDA kernel 启动回溯到发起它的 Python 代码,从而检测 ROME 攻击在 GPU 内存中直接改写模型权重的行为。
PostgreSQL 19 进入 beta 期后回退了约 8 到 10 项重要功能,参与部分功能开发或提交的作者分析了可能原因。部分功能存在架构缺陷,LLM 辅助代码审查又加速发现大量边界问题;资深开发者忙于安全修复,也可能使常规审查推迟,社区最终选择维持发布计划。作者提出将 LLM 辅助模糊测试纳入功能开发、增强内部接口,并探索让实验性功能在主分支逐步成熟的机制。
作者在 ASUS ProArt P16 H7607BA-SE033W 上运行 Arch Linux,系统与 CUDA 均报告可用的同一物理内存池总量为 116.0 GiB。
CoreWeave的债务压力正在波及其他AI基础设施企业,但股价下跌尚不足以判断AI泡沫破裂。其债券收益率相对政府债券的利差达到1,000个基点,自周二收盘以来股价下跌超过20 percent,同期Oracle股价下跌近10 percent且债券遭到抛售。
Amazon Web Services 周一发布 TorchNeuron,让使用 PyTorch 编写的 AI 应用更容易迁移到其 Trainium 芯片。Amazon 称只需修改一行配置,无需重写代码,并以 Deepgram 为例称其在生产级准确率下每美元可处理的音频增加了 70%。Amazon 还计划向 PyTorch 上游贡献代码,减少框架与特定芯片的绑定,让开发者拥有更多硬件选择。
Mac.apk 让 Android 应用以普通 macOS 进程形式在 Apple Silicon Mac 上原生运行,无需模拟器、虚拟机或底层 Linux 内核,应用通过 Mac GPU 绘制并以原生速度执行。
Inception 发布扩散式大语言模型 Mercury 3,宣称其在多项基准上超过 GPT-6 Luna 和 Claude Haiku 5.5,运行速度快4–8x。
推荐理由:Inception 将 Mercury 3 的参数规模扩大至 Mercury 1 的40倍以上,同时保持相近速度,为文本扩散模型提供了规模化比较。
Numan 用 LangGraph 构建 AI 健康教练 Nu,并通过 LangSmith 评测与追踪对话,将服务限定在生活方式辅导和健康教育范围内。团队按类别评测单轮回复,让测试经过与生产相同的智能体图,并以安全回归测试阻止不合格变更发布;同一套数据集支持其在一天内完成模型供应商迁移。动态模拟患者对话的评测层仍处于原型阶段,其工程师起草的标准须经临床专业人员签核后,才能用于发布门槛或安全声明。
Meta 详解 Thin Orchestrator 架构,将路由与可靠性检查留在编排层,把领域推理交给上下文隔离的专门 AI 智能体。其 1,300 行编排器将 20+ 工作流分派给 14 个子智能体,通过工作流模板复用组件,并在运行时按需加载知识。新数据列的配置准备从人工处理的三至四天、此前配置驱动系统的约一天缩短至不到一小时,约三分之二的系统改动无需大量人工修改即可合入。
北京朝阳法院判保险公司辞退使用第三方 AI 的员工违法,Anthropic 用电视盒合跑模型,Character.ai 申请破产保护。法院指出企业未明文禁用第三方 AI,也未举证文件涉密或实际损害;Anthropic 用 15 台约 55 美元的电视盒运行 Gemma4-26B-A4B,速度为 0.39 token/秒,研究尚未实现完整的失控自我复制。
Netflix 以 Observability Ontology 统一跨系统实体与关系,构建端到端知识图谱,为内部智能体系统 AutoRCA 提供故障调查上下文。
KiviDB 是用 Rust 编写的开源多线程内存数据库,兼容 Redis 协议并内置全文与向量搜索。项目公布的 32 核测试中,KiviDB 1.1.0 的流水线 GET 吞吐为 21.2M ops/s,约为 Redis 8 的 9×、Dragonfly 的 2.3×,测试结果依赖环境与工作负载。
Meta 的吉瓦级超集群 Prometheus 一期已完成并用于训练 Muse 系列模型,目前拥有数十万 GPU,计划扩展至约 1 million GPUs。Muse Wonder 预训练和 RL 训练的有效吞吐占比分别超过 85% 和 90%,通过一年的工程优化,集群中断次数较峰值减少 99%。
推荐理由:Meta 将机架内备用 GPU、并行感知容错与异步检查点结合,为大规模训练提供减少故障停机和重复计算的工程方法。
n8n 教程展示如何在一台 NVIDIA DGX Spark 上部署七个模型,通过 LiteLLM 的统一接口运行不调用云端 API 的 AI 工作流。实测模型栈占用 108GB 内存,发票字段提取关闭思考后从 12.1s 降至 0.59s,并提供模型版本锁定、服务配置与 n8n 接入步骤。并行生成图像时,单用户聊天速度下降 69%,四用户场景下降 65%,共享 GPU 的任务需要安排调度。
Google Research 的 Harness² 是即插即用的智能体框架,在保持模型权重固定的情况下,通过任务级与跨任务递归优化提示词、工具、记忆等组件。
Stripe 已同意收购 OpenRouter,《纽约时报》报道交易金额为 $7.5 billion,双方联合声明确认协议但未公开价格。OpenRouter 通过单一 API 接入超过 400 个 AI 模型,据双方称每天处理超过 10 trillion tokens,服务超过 10 million 名开发者。
推荐理由:Stripe 收购 OpenRouter 将模型路由纳入其支付与 token 计费体系,使路由中立性与商业激励的关系成为交易后的核心问题。
AWS 宣布 TorchNeuron 原生 PyTorch 后端,支持 Trainium2 和 Trainium3,将于 10 月 20 日以 Apache 2.0 开源并开放公共 Beta。
新兴AI云服务商在股价下跌和IPO撤回后面临整合压力,自建数据中心项目若停滞,可能拖累Nvidia的芯片销售。包括这些云商在内的非超大规模云客户群,在7月季度贡献了$40 billion收入,占Nvidia数据中心收入的45 percent,Nvidia正通过股权投资、芯片配额和贷款担保支持该行业。
Anthropic 用 Scion 重构内部源码控制,文章分析了 AI 智能体规模下可复用的工程判断与不宜照搬的系统设计。其大仓库每日合入量从 2026 年 5 月的 2,500 次增至 9 月的超过 30,000 次,Scion 采用轻客户端、服务端重计算和三层缓存,报告称源码控制基建的 CPU 与内存占用缩小了 200 倍。
推荐理由:Anthropic 用 Scion 重构源码控制,普通团队可迁移的工程方法集中在按需拉取代码、审查改动意图与建立自动回滚护栏。
Jared Siegel 主张自建 LLM 代理,以掌握模型调用日志、token 使用时序数据及数据流向。代理可统一接入多个提供商和模型,通过虚拟 API 密钥管理调用,并支持快速切换模型与提供商。他修改了自己的代理以增强观测并添加自定义 MCP 服务端端点,称编码时能在 20 秒内手动定位缓存未命中的原因。
Simon Willison 发布 llm-echo 0.5,这个调试插件提供一个不涉及 LLM 的“模型”,只把收到的提示词原样回显。新版本更新了模拟 token 用量统计,将工具调用、系统提示词和推理 token 纳入计算。示例中 `llm -m echo 'hi there' -o thinking 1 --usage` 显示 2 input、24 output。
llm-tools-datasette 发布 0.1.1 版本,修复了 LLM 0.33 改用 httpx2 后插件因未直接依赖 httpx 而出现的兼容问题。该插件此前依赖 httpx 但未显式声明,此次升级后已恢复正常。