跳到正文

#部署/工程

今日 11 条

10月8日星期四

claude.dev 开发者博客

Anthropic 如何用 Claude Managed Agents 构建可靠的智能体自动化

Anthropic 提供基于 Claude Managed Agents(beta)的参考实现,定时读取 Slack 和 GitHub 的变化并向 Slack 发布简报。

推荐理由:Anthropic 将定时简报实现拆成书签续读、发送确认和权限隔离规则,为后台智能体避免漏报、重复通知和越权提供可复用方法。

AI HOT · 产品

NVIDIA 与 Microsoft 推出 RTX Spark,宣布 Windows 智能体执行容器 MXC 正式可用

NVIDIA 与 Microsoft 推出面向 Windows 笔记本和紧凑型桌面机的 RTX Spark,Microsoft 同时宣布 Microsoft Execution Containers(MXC)正式可用,让智能体在操作系统控制下安全、持续地后台运行。

推荐理由:NVIDIA 与 Microsoft 将本地 AI 硬件和智能体执行容器接入 Windows,让模型运行与智能体后台执行纳入同一桌面环境。

AI HOT · 产品

Anthropic 为 Claude Max 和 Team 套餐推出月度 Platform API 额度

Anthropic 正在为 Claude Max 和 Team 套餐推出月度 Claude Platform API 额度。Max 5x 为 $100,Max 20x 为 $200,Team 最多 $500 且可共享。额度适用于任何模型,包括 Haiku 5.5,可在用户自己的代码或第三方 harness 中使用。

推荐理由:Anthropic 为 Max 和 Team 套餐增加月度 API 额度,将套餐权益延伸到用户自有代码和第三方 harness。

Hacker News 首页

Docker Agent 支持用 YAML 构建、运行和共享 AI 智能体

Docker Agent 是 Docker CLI 插件,支持通过声明式 YAML 配置构建、运行和共享 AI 智能体,无需编写代码。它支持多智能体自动委派任务、内置工具与 MCP 服务器,以及包含 BM25、嵌入向量、混合搜索和重排序的 RAG,并可将智能体推送至任意 OCI 仓库。

推荐理由:Docker Agent 用 YAML 定义智能体并通过 OCI 仓库分发,让工具配置与多智能体协作流程能够版本化和共享。

GitHub Blog · AI & ML

GitHub 的密钥保护为何必须跟上软件开发规模

GitHub 介绍与 Microsoft Applied Sciences 合作微调的 ModernBERT 分类器,将非结构化密钥检测扩展到推送保护,候选密钥批次评估耗时低于 2 毫秒。

推荐理由:GitHub 用九个季度的数据比较代码推送与凭据泄露,单次推送的泄露比例未见显著趋势而总量增长加重人工处置负担。

10月7日星期三

Hacker News 首页

OpenAI Decisions API 进入公开测试,支持文本与图像决策

OpenAI Decisions API 进入公开测试,可评估文本、图像或两者组合,返回类型化答案,文档称速度约为 Responses API 的 10x。接口提供条件概率、固定选项选择和有序等级评分,当前仅支持 gpt-6-luna,通过 POST /v1/decisions 调用,预计未来几周正式上线。

推荐理由:OpenAI 将决策接口的输出限定为条件概率、固定选项和有序评分,明确了分类与排序任务同自定义结构化生成之间的适用边界。

claude.dev 开发者博客

Claude Code 云会话实战指南:并行任务、环境配置与本地衔接

Claude Code 云会话指南通过四次实际运行,讲解独立 VM 中的并行编码、环境配置及云端与本地会话衔接。三个任务在 16 秒内陆续启动,全部在首个任务启动后 87 秒完成,其中缓存修复通过连续 40 次测试;独立分支不会共享修复,需要安排合并顺序。

推荐理由:Claude Code 云会话指南用并行任务实测展示按文件边界拆分工作的方法,并将验收命令与分支合并顺序纳入任务设计。

10月6日星期二

Mistral AI

Mistral AI 发布 Mistral Large 4 公开预览,计划月底开放权重

Mistral AI 发布原生多模态模型 Mistral Large 4(ML4)公开预览,现可通过 Mistral Studio 的 API 试用,计划本月底开放权重。

推荐理由:Mistral AI 计划开放 ML4 权重并支持私有部署,使组织能在自身政策下开展安全工作,减少对供应商访问权限和拒绝策略的依赖。

Simon Willison

Felix Rieseberg 解释 Cowork 将虚拟机迁至云端的变化

Cowork 新版将模型推理和虚拟机都放在云端运行,旧版则在云端推理、在用户电脑上的虚拟机中执行工具调用。Simon Willison 引用 Anthropic 的 Felix Rieseberg 说明,每个会话拥有独立沙箱、不共享状态,需要访问设备文件时由桌面应用执行相应工具调用。

推荐理由:Cowork 将虚拟机从本地迁到云端,针对本地运行的磁盘、电池和性能负担,以及合上笔记本后任务停止的问题作出调整。

10月5日星期一

Computing Life · Share · 鸭哥调研

Pi 从拒绝到接纳 MCP:协议如何靠收缩职责存活

Pi 1.0 原生支持 MCP,并默认通过 Codemode 沙箱脚本调用工具,将中间数据处理与组合移出主模型上下文。文章据此分析其创建者从拒绝到接纳 MCP 的转向,主张协议收缩到工具目录与发现机制,把执行和数据处理交给代码。同日发布的 Pi Durable 提供检查点恢复、历史分支和运行中介入能力,但标注为 experimental,检查点不覆盖虚拟机或容器状态,存储不支持跨进程并发写入。

推荐理由:Pi 将 MCP 工具默认交给沙箱脚本调用,让工具发现与数据处理分层,减少中间数据进入模型上下文的负担。

10月4日星期日

Hacker News 首页

Alexey 停止逐行审查智能体代码,改用计划审查与工程护栏

Alexey 将智能体开发流程改为审查计划、设置工程护栏并允许自动合并,称两周内合并了 562 个 PR。其内部平台 Sightline 的 PR 必须通过单元测试、端到端测试、CI、Bugbot 和 Strix 检查,Mergify 才允许进入合并队列。他使用协调智能体分派子智能体执行计划,以功能开关和小步部署控制风险,并通过 HTML 进度报告跟进可持续一天以上的目标任务。

推荐理由:Alexey 将代码审查转向计划审查,通过强制测试、合并队列和功能开关约束智能体自动合并,把质量控制落实到工程护栏。

10月3日星期六

Hacker News 首页

Aleph Alpha 发布开放权重模型 Kolibri,支持英德双语与 1M tokens 上下文

Aleph Alpha 发布英德双语 MoE 模型 Kolibri,总参数为 78B、激活参数约 3B,支持最高 1M tokens 上下文。完整权重在 Hugging Face 按 Apache 2.0 许可开放,部署需要提供 Kolibri vLLM 插件的 aleph-alpha-inference 包。

推荐理由:Aleph Alpha 将行业失败案例转成持续运行的评测,并用合成训练环境改进模型,无需使用客户数据训练。

OpenAI News

OpenAI GPT-6 系列模型使用指南:选型、提示词与长任务管理

OpenAI 的 GPT-6 系列使用指南介绍如何选择模型、调整提示词和技能,以及管理长任务的时间与成本。GPT-6 Astra 面向高难度推理,GPT-6.1 Sol 面向复杂编码、研究和计算机使用,GPT-6 Luna 面向目标明确的规模化重复任务;指南建议部署前衡量任务成功率、延迟和每次成功任务的成本。

推荐理由:OpenAI 将模型选择、推理强度与缓存管理纳入同一套生产实践,把任务成功率、延迟和每次成功任务的成本作为优化依据。

10月2日星期五

Latent Space

Pi 1.0 与 Pi Durable 发布,AI Engineer NYC 开放常规票优惠

Pi 1.0 与 Pi Durable 发布,前者新增 Codemode、虚拟模型扩展支持和延迟工具加载,后者将 Pi 移植到 TypeScript 并外置有状态组件。

推荐理由:Pi Durable 将智能体状态外置并记录任务检查点,让进程重启后的恢复与多会话并行运行纳入同一执行框架。

AI HOT · 模型

NVIDIA 介绍 Blackwell GPU 如何加速 OpenAI GPT-6 Astra Ultrafast

GPT-6 Astra Ultrafast 运行于 NVIDIA Blackwell GPU,token 生成速度最高可达 Astra Standard 模式的 8x。

推荐理由:OpenAI 利用自身模型优化 NVIDIA GPU 推理软件,加快响应可缩短编码智能体反复编辑、测试和调试的等待时间。

Hacker News 首页

Earendil 发布实验性智能体框架 Pi Durable,同时推出 Pi 1.0

Earendil 与 Pi 社区发布 Pi 1.0,并推出面向长运行智能体应用的实验性框架 Pi Durable。框架支持持久化检查点与崩溃恢复、并发会话及分叉、后台上下文压缩和多客户端协作,工具调用中断后仅在声明可安全重跑时重新执行。Pi Durable 不替代 Pi 编码智能体,提供 memory、SQLite 和 JSONL 存储,现已可试用,但 API 仍可能变化。

推荐理由:Pi Durable 将模型请求和工具调用纳入带检查点的持久任务,为长运行智能体提供崩溃恢复与安全重跑的工程方法。

Claude 博客

通过 mods 自定义 Claude Code 的行为与界面

Claude Code 推出 mods,以小型 TypeScript 函数定制工具行为和界面,现已支持 CLI 与桌面应用。Mods 随插件安装和分享,可改写提示词、拦截工具调用、处理权限请求或替换内置功能,也可由 Claude Code 编写、安装并热重载。

推荐理由:Claude Code 用 mods 开放事件改写、界面定制和内置功能替换,让开发者无需等待官方更新就能调整工具行为。

AI HOT · 技巧与观点

LangChain 讲解如何在 Agent Harness 中构建模型路由器

LangChain 介绍在 Open SWE 的 Agent Harness 中构建模型路由器的方法,A/B 测试中每线程成本中位数降低 64%,质量未出现可测量变化。

推荐理由:LangChain 将任务分析、模型分层和结果追踪结合到智能体路由中,为按任务复杂度控制模型成本提供了可迁移方法。

10月1日星期四

AI HOT · 产品

Factory Automations 正式开放:Droid 可定时或按事件自动执行工程工作流

Factory 宣布 Automations 正式开放,用户描述重复性工作流并选择定时或事件触发后,Droid 即可自动执行。每个自动化由触发条件、指令、模型和运行机器四部分组成,模型与推理等级可按任务配置,支持 BYOK 或 Factory Router。官方称过去 30 天企业用户中 52% 使用自动代码审查、48% 使用安全审查、35% 使用 AutoWiki,自动化会话量环比增长 51%。

推荐理由:Factory 将 Automations 正式开放,Droid 可按定时或事件触发执行代码审查、安全审计等重复工程流程,每个自动化由触发条件、指令、模型和运行机器四部分组成。

9月30日星期三

Hacker News 首页

文本分类语言模型解读:从词袋模型到 Jev

Jev 将文本分类扩展为无需逐项任务微调的通用决策服务,文章通过分类技术发展史与实测解释其优势和适用边界。在 IMDb 的 25,000 条测试评论上,Choice API 达到 96.47% 准确率,总成本 $0.6492;文章同时提醒,无法确定测试集是否包含在训练数据中。

推荐理由:文章将 Jev 与词袋模型、ModernBERT 和通用大语言模型比较,厘清跨任务直接分类与专用模型微调的成本和适用边界。

AI HOT · 产品

Factory 正式发布 Automations,Droid 可定时或事件触发执行重复工程工作

Factory 正式向所有用户开放 Automations,让 Droid 按定时计划或事件触发执行重复工程工作。用户可用自然语言创建流程或选用模板,自动处理工单到 PR、代码审查、安全检查、CI 故障修复及文档更新。每个自动化流程可配置模型、推理级别和运行机器,以用户或服务账号身份执行,并提供可检查的会话、运行历史与失败通知。

推荐理由:Factory 将重复工程任务配置为定时或事件触发的自动化流程,团队能按任务选择模型与运行机器并检查每次执行记录。

TechCrunch · AI

OpenAI 为 Codex 增加跨设备可复用的云开发环境

OpenAI 为 Codex 推出可跨设备访问的可复用云开发环境,让远程任务环境更持久、可配置,并为团队提供共享设置与权限。

推荐理由:OpenAI 为 Codex 增加可复用云开发环境,让团队跨设备沿用获批设置与权限,减少每项远程任务重新准备环境的负担。

9月29日星期二

Hacker News 首页

World Labs 并入 AMD,李飞飞出任首席科学家

World Labs 已签署最终协议加入 AMD,交易预计在 2026 年底前完成,尚待监管批准及其他惯例交割条件。双方自去年起在 AMD GPU 上开展模型训练与推理优化的深度技术合作,此次将整合软件、硬件、基础模型与应用。

推荐理由:World Labs 整体加入 AMD,李飞飞出任执行副总裁兼首席科学家,双方此前已在 AMD GPU 上做模型训练与推理优化,这次合并把硬件、软件与开放模型放进同一体系。

9月25日星期五

claude.dev 开发者博客

Opus 5.5 在 Claude Code 中执行任务的成本如何计算

Opus 5.5 在 Claude Code 中的任务成本由轮次、缓存读取、输出 token 和模型价格共同决定,降低消耗也可能增加重试成本。按 API 标价,同一示例会话从 Opus 5 的 $3.50 降至 Opus 5.5 的 $2.40,约降低 31%,示例不计缓存写入;典型工作负载成本降低 40% 的估计还包含默认设置下任务 token 消耗减少。

推荐理由:Claude Code 成本指南把轮次、缓存与思考输出拆开计费,并用同任务实测的方法区分单价下降与任务消耗减少。

9月24日星期四

Google DeepMind

Google DeepMind 为 Private AI Compute 引入安全服务端记忆

Google DeepMind 公布 Private AI Compute 的新技术能力,将私密的服务端持久记忆引入该平台,使 AI 助手能跨设备保留上下文。数据密封在加密存储中,解锁密钥仅保存在用户设备上,模型访问时通过端到端加密通道进入云端安全隔区,在隔离内存中临时解密并即时重新加密。

推荐理由:Google DeepMind 为 Private AI Compute 加入服务端持久记忆,解锁密钥只留在用户设备,模型经加密通道在云端安全隔区临时解密,让云端助手具备跨设备连续上下文。

9月23日星期三

AI HOT 精选

Modal 公开万亿参数编码 Agent 推理优化细节:单副本性能提升 2.8 倍,把烧钱服务做到价格有竞争力

Modal 发布工程博客,介绍其以万亿 token 规模服务 Moonshot AI 的 Kimi K2.6 编码 Agent 推理的优化过程,单副本性能提升至每用户 2.8 倍、跨用户 5.6 倍。

推荐理由:Modal 公开了以万亿 token 规模服务 Kimi K2.6 编码 Agent 的推理优化过程,单副本性能提升至每用户 2.8 倍、跨用户 5.6 倍,并交代了万亿参数模型服务如何摊薄成本。

9月21日星期一

AI HOT 精选

AI 开始接管 if-then 判断:专用决策器把分类成本砍掉近百倍

Tomer Tunguz 提出,Jev 与 SemIf 这类专用 if-then 决策器以零输出 token 的定型执行替代文本生成,相比传统 AI 成本降低约 99%。

推荐理由:Tunguz 用自己代码里的真实邮件分类任务测试 Jev 与 SemIf 这类专用 if-then 决策器,准确率从 47% 升到 80% 以上,成本比传统 AI 低约 99%。

9月19日星期六

Hacker News 首页

C2C:让多个大模型直接交换“思考缓存”,比打字快 2.5 倍,准确率还高 3-5%

清华大学等机构的研究者提出 Cache-to-Cache(C2C),让大语言模型之间不再通过文本,而是直接投影并融合源模型的 KV-Cache 到目标模型,实现语义传递,并用可学习门控选择受益的目标层。实验显示 C2C 比单个模型平均准确率高 6.4-14.2%,比文本通信范式高约 3.1-5.4%,平均延迟加速 2.5 倍。该论文已被 ICLR'26 收录,代码开源于 thu-nics/C2C。

推荐理由:清华大学等机构提出 C2C,让大模型之间直接投影融合 KV-Cache 传递语义,而非生成中间文本,实验显示准确率高于文本通信约 3.1-5.4% 且延迟加速 2.5 倍。

9月17日星期四

Hacker News 首页

三元大模型打破 1.58 比特的存储下限:BITCOS 靠利用大量零权重把每权重压到 1.485 比特

arXiv 论文 BITCOS 提出面向三值 LLM 的分布自适应权重布局,用稠密存在位图加压缩符号向量替代五 trit 打包,每权重成本为 2 - z bit(z 为零密度)。

推荐理由:Intel 团队实测 29 个三值模型发现零权重占比最高达 51.5%,据此提出 BITCOS 布局,把每权重存储压到 1.485 比特,并给出 CPU 与 GPU 上的解包实现。

9月15日星期二

r/LocalLLaMA

DeepSeek V4.1 Flash 量化版在 M3 Ultra 上跑到 40 token/秒,靠的是把苹果芯片的调度开销砍到骨头里

作者 fork 了 antirez/ds4,针对 512 GB M3 Ultra 上的 DeepSeek V4.1F Q4 做优化,8k 上下文解码从 16.6 提升到 31.3 t/s,300k 上下文从 14.0 提升到 28.3 t/s,62k prompt 预填充从 737 提升到 813 t/s。

推荐理由:作者针对 M3 Ultra 上的 DeepSeek V4.1F Q4 重写 Metal 调度,把 8k 上下文解码从 16.6 提到 31.3 t/s,并给出与上游逐字节一致的校验脚本。

9月10日星期四

DeepSeek · API 更新日志

DeepSeek-V4.1-Flash 发布,支持原生视觉理解并下调 API 价格

DeepSeek 今天发布 DeepSeek-V4.1-Flash,作为全新模型结构系列中尺寸最小的模型,具备原生多模态视觉理解能力。模型已上线 DeepSeek API,使用 deepseek-flash 即可调用,API 价格同步下调;旧模型 V4 Flash 与 V4 Flash Vision Exp 已下线,其调用名称暂时路由至 V4.1 Flash。

推荐理由:DeepSeek 将旧模型名称暂时路由到 V4.1 Flash 并同步下调 API 价格,现有调用可保持名称兼容但会切换模型。

9月2日星期三

Hacker News 首页

Slotstream 让 48GB 内存的 Mac 跑起 104GB 的 Qwen 大模型,速度约每秒 12 个 token

开发者 carloslfu 开源 slotstream,通过从 SSD 流式加载专家权重,让 125B MoE、4-bit 下 104GB 的 Qwen3.8-Flash-Next 在 48GB Mac 上以约 12 tok/s 运行。项目基于 MLX + Swift,提供 Ollama 兼容 API,仓库当前 35 Star、63 次提交。

推荐理由:开发者 carloslfu 开源 slotstream,从 SSD 流式加载专家权重,让 104GB 的 Qwen 模型在 48GB Mac 上以约 12 tok/s 运行,并附带 Ollama 兼容接口。

8月26日星期三

Computing Life · Share · 鸭哥调研

“本地 LLM”这个词,把两个市场混装成了一个

文章把大家常说的“本地 LLM”拆成了两个市场:成本市场买的是 5 到 20 倍的价差,控制市场买的是 25 到 33 年才能回本的确定性。作者用“权重开闭源”和“按时间/按 token 计费”画出四个格子,指出 OpenRouter 上开放权重模型调用量暴增,其实跑的都是远程 API,不等于本地部署赢了。

推荐理由:文章把常说的本地 LLM 拆成成本与控制两个市场,用权重开闭源和计费方式画出四格,并指出 OpenRouter 上开放权重模型调用量增长来自远程 API。

8月21日星期五

Hacker News 首页

Nari Labs 把 Qwen3-TTS 的首音延迟压到 50 毫秒以内,一张 H100 就能跑 10 并发

Nari Labs 开源了一套 Qwen3-TTS 1.7B 的部署方案,在一张 H100 上做到 10 并发请求时,95% 的用户听到第一个字的时间不超过 50 毫秒,且播放不卡顿。他们对比了 vLLM-Omni、SGLang-Omni 等四个引擎,默认设置下最快的 p95 首音延迟也要 277 毫秒。

推荐理由:Nari Labs 开源 Qwen3-TTS 1.7B 部署方案,单张 H100 在 10 并发下把 p95 首音延迟压到 50 毫秒内,并对比了四个引擎的默认表现。

8月20日星期四

Hacker News 首页

DFlash 2 让并行猜词更聪明:每次验证多出 20% 以上有效输出,延迟只增加约 1%

Inco AI 发布了 DFlash 2,在原来一次性并行猜出整段候选词的基础上,加了一个轻量的路径选择器。DFlash 原本是每个位置独立挑最可能的词,但词与词之间可能不连贯,导致验证时整段被砍掉。DFlash 2 的做法是每个位置保留前 16 个候选,然后给相邻词对打分,从中挑出一条最连贯的路径。

推荐理由:Inco AI 的 DFlash 2 在并行猜词中加了路径选择器,让每次验证多出 20% 以上有效输出,延迟只增加约 1%。

8月11日星期二

Mistral AI

Mistral 推出区域推理端点与 Priority Tier,并接入 GLM-5.2 等第三方开源模型

Mistral 宣布 Mistral Regional Endpoints 正式可用,客户可选择推理在欧洲或美国运行,同时 Mistral Priority Tier 进入公开预览,提供自定义速率限制和带 SLA 的可用性承诺。

推荐理由:Mistral 将区域推理端点、带 SLA 的 Priority Tier 与第三方开源模型接入同一套基础设施,为关注 AI 主权落地路径的读者提供了一份具体样本。

8月8日星期六

Dwarkesh Patel 播客

持续学习时代:AI 不再训完就上线,而是边用边学

Dwarkesh Patel 认为,一旦模型能在部署后持续更新权重,整个 AI 格局就会变。他打了个比方:就像学萨克斯,光靠看前人的笔记永远学不会,模型也不能只靠会话间传小纸条来真正干活。这会直接冲击现在的监管思路——不能再指望上线前做一次安全检查就万事大吉,按月或按季度做风险巡检才更合理。

推荐理由:Dwarkesh Patel 推演模型部署后持续更新权重会如何动摇现有安全框架,并提出从上线前一次性检查转向按月或按季度做风险巡检。

8月5日星期三

AI HOT 精选

SpecForge v0.3 发布:把草稿模型训练从主模型上拆下来,还带了一批开源草稿模型

LMSYS 把 SpecForge 的训练流程拆成了两拨独立资源:打补丁的 SGLang 服务器负责从目标模型抓特征,Mooncake 负责传数据,训练节点只管吃特征训练草稿模型。在 8 张 H20 的测试环境里,3 台服务器加 5 个训练节点的吞吐比之前绑在一起的方案高了约 10%。

推荐理由:LMSYS 将 SpecForge 的草稿模型训练拆成抓特征、传数据和训练三拨独立资源,在 8 张 H20 上吞吐比原先绑在一起的方案高约 10%。

8月4日星期二

Latent Space

推理工程大师课:Baseten 的 Philip Kiely 和 Ali Taha 聊怎么让模型跑得又快又省钱

Baseten 刚融了 130 亿美元,Philip 和 Ali 在这期播客里把推理工程拆开讲透了。他们聊了量化、投机解码、KV 缓存搬运、以及把预填充和解码拆开跑这些技术。一个 GLM-5.2 的实验发现,多量化几层反而让基准测试质量没掉,吞吐还涨了 20%,因为不同层引入的误差会互相抵消。

推荐理由:Baseten 的 Philip Kiely 和 Ali Taha 在播客中拆解量化、投机解码与 KV 缓存搬运,其中 GLM-5.2 实验显示多层量化后基准质量未降、吞吐提升 20%。