跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

609 条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 121–140 条 · 共 609 条

10月10日星期六

Hacker News 首页

Microsoft Execution Containers 1.0.0 发布,为 AI 智能体提供策略驱动隔离

Microsoft Execution Containers(MXC)现已正式可用,通过容器执行文件、网络及界面访问策略,限制 AI 智能体工作负载的权限。开发者可用统一 JSON 配置和多语言 SDK 接入 Windows、macOS 或 Linux 的隔离后端,Windows 进程容器还支持记录资源访问以调整策略。

推荐理由:Microsoft MXC 将智能体权限交由运行环境独立执行,通过学习与宽松模式记录资源访问,为最小权限策略提供调整依据。

AI HOT · 产品

Prime Intellect 发布 Rust 重写版 Prime Agent,超 2,000 个智能体参与迁移

Prime Intellect 发布 Rust 重写版 Prime Agent,由超 2,000 个智能体在两周内完成端到端迁移,并新增原生 Windows 支持(beta)及 homebrew 安装。

推荐理由:Prime Intellect 将规划、实现、审查和验证拆给不同智能体,以差分测试约束迁移进度,减少大规模代码重写中的人工审查。

10月9日星期五

AI HOT · 产品

Google 开源 AQuA 质量智能体,诊断生产环境中的 Agent 故障

Google 开源 AQuA(Ambient Quality Agent),在 Google Cloud 项目内旁路分析生产会话,并结合部署时源码快照诊断智能体故障。

推荐理由:AQuA 将生产会话中的失败聚类与部署时源码快照结合,通过逐簇核验和代码行引用,为智能体故障排查提供可追溯证据。

Computing Life · Share · 鸭哥调研

GPT-6 指南解读:长时运行智能体的实现清单与未解问题

GPT-6 指南解读梳理了长时运行智能体的工程实现,将重点从自建记忆管理转向任务不中断时的协作与授权。文中依据 OpenAI 文档整理了压缩与持久推理、mid-turn steering、异步工具调用和多智能体委派,并给出模型选择、缓存安排、技能规则和人工审批的落地步骤。文章同时指出纠偏指令断线丢失、部分 API 参数互斥及加密压缩难审计等限制,强调这套机制尚缺独立消融实验与跨模型对照。

推荐理由:这篇 GPT-6 指南解读把长任务工程拆成记忆托管与协作控制,明确了异步执行、运行中纠偏和人工审批各自承担的职责。

10月8日星期四

claude.dev 开发者博客

Anthropic 如何用 Claude Managed Agents 构建可靠的智能体自动化

Anthropic 提供基于 Claude Managed Agents(beta)的参考实现,定时读取 Slack 和 GitHub 的变化并向 Slack 发布简报。

推荐理由:Anthropic 将定时简报实现拆成书签续读、发送确认和权限隔离规则,为后台智能体避免漏报、重复通知和越权提供可复用方法。

AI HOT · 产品

NVIDIA 与 Microsoft 推出 RTX Spark,宣布 Windows 智能体执行容器 MXC 正式可用

NVIDIA 与 Microsoft 推出面向 Windows 笔记本和紧凑型桌面机的 RTX Spark,Microsoft 同时宣布 Microsoft Execution Containers(MXC)正式可用,让智能体在操作系统控制下安全、持续地后台运行。

推荐理由:NVIDIA 与 Microsoft 将本地 AI 硬件和智能体执行容器接入 Windows,让模型运行与智能体后台执行纳入同一桌面环境。

AI HOT · 产品

Anthropic 为 Claude Max 和 Team 套餐推出月度 Platform API 额度

Anthropic 正在为 Claude Max 和 Team 套餐推出月度 Claude Platform API 额度。Max 5x 为 $100,Max 20x 为 $200,Team 最多 $500 且可共享。额度适用于任何模型,包括 Haiku 5.5,可在用户自己的代码或第三方 harness 中使用。

推荐理由:Anthropic 为 Max 和 Team 套餐增加月度 API 额度,将套餐权益延伸到用户自有代码和第三方 harness。

Hacker News 首页

Docker Agent 支持用 YAML 构建、运行和共享 AI 智能体

Docker Agent 是 Docker CLI 插件,支持通过声明式 YAML 配置构建、运行和共享 AI 智能体,无需编写代码。它支持多智能体自动委派任务、内置工具与 MCP 服务器,以及包含 BM25、嵌入向量、混合搜索和重排序的 RAG,并可将智能体推送至任意 OCI 仓库。

推荐理由:Docker Agent 用 YAML 定义智能体并通过 OCI 仓库分发,让工具配置与多智能体协作流程能够版本化和共享。

GitHub Blog · AI & ML

GitHub 的密钥保护为何必须跟上软件开发规模

GitHub 介绍与 Microsoft Applied Sciences 合作微调的 ModernBERT 分类器,将非结构化密钥检测扩展到推送保护,候选密钥批次评估耗时低于 2 毫秒。

推荐理由:GitHub 用九个季度的数据比较代码推送与凭据泄露,单次推送的泄露比例未见显著趋势而总量增长加重人工处置负担。

10月7日星期三

Hacker News 首页

OpenAI Decisions API 进入公开测试,支持文本与图像决策

OpenAI Decisions API 进入公开测试,可评估文本、图像或两者组合,返回类型化答案,文档称速度约为 Responses API 的 10x。接口提供条件概率、固定选项选择和有序等级评分,当前仅支持 gpt-6-luna,通过 POST /v1/decisions 调用,预计未来几周正式上线。

推荐理由:OpenAI 将决策接口的输出限定为条件概率、固定选项和有序评分,明确了分类与排序任务同自定义结构化生成之间的适用边界。

claude.dev 开发者博客

Claude Code 云会话实战指南:并行任务、环境配置与本地衔接

Claude Code 云会话指南通过四次实际运行,讲解独立 VM 中的并行编码、环境配置及云端与本地会话衔接。三个任务在 16 秒内陆续启动,全部在首个任务启动后 87 秒完成,其中缓存修复通过连续 40 次测试;独立分支不会共享修复,需要安排合并顺序。

推荐理由:Claude Code 云会话指南用并行任务实测展示按文件边界拆分工作的方法,并将验收命令与分支合并顺序纳入任务设计。

10月6日星期二

Mistral AI

Mistral AI 发布 Mistral Large 4 公开预览,计划月底开放权重

Mistral AI 发布原生多模态模型 Mistral Large 4(ML4)公开预览,现可通过 Mistral Studio 的 API 试用,计划本月底开放权重。

推荐理由:Mistral AI 计划开放 ML4 权重并支持私有部署,使组织能在自身政策下开展安全工作,减少对供应商访问权限和拒绝策略的依赖。

Simon Willison

Felix Rieseberg 解释 Cowork 将虚拟机迁至云端的变化

Cowork 新版将模型推理和虚拟机都放在云端运行,旧版则在云端推理、在用户电脑上的虚拟机中执行工具调用。Simon Willison 引用 Anthropic 的 Felix Rieseberg 说明,每个会话拥有独立沙箱、不共享状态,需要访问设备文件时由桌面应用执行相应工具调用。

推荐理由:Cowork 将虚拟机从本地迁到云端,针对本地运行的磁盘、电池和性能负担,以及合上笔记本后任务停止的问题作出调整。

10月5日星期一

Computing Life · Share · 鸭哥调研

Pi 从拒绝到接纳 MCP:协议如何靠收缩职责存活

Pi 1.0 原生支持 MCP,并默认通过 Codemode 沙箱脚本调用工具,将中间数据处理与组合移出主模型上下文。文章据此分析其创建者从拒绝到接纳 MCP 的转向,主张协议收缩到工具目录与发现机制,把执行和数据处理交给代码。同日发布的 Pi Durable 提供检查点恢复、历史分支和运行中介入能力,但标注为 experimental,检查点不覆盖虚拟机或容器状态,存储不支持跨进程并发写入。

推荐理由:Pi 将 MCP 工具默认交给沙箱脚本调用,让工具发现与数据处理分层,减少中间数据进入模型上下文的负担。

10月4日星期日

Hacker News 首页

Alexey 停止逐行审查智能体代码,改用计划审查与工程护栏

Alexey 将智能体开发流程改为审查计划、设置工程护栏并允许自动合并,称两周内合并了 562 个 PR。其内部平台 Sightline 的 PR 必须通过单元测试、端到端测试、CI、Bugbot 和 Strix 检查,Mergify 才允许进入合并队列。他使用协调智能体分派子智能体执行计划,以功能开关和小步部署控制风险,并通过 HTML 进度报告跟进可持续一天以上的目标任务。

推荐理由:Alexey 将代码审查转向计划审查,通过强制测试、合并队列和功能开关约束智能体自动合并,把质量控制落实到工程护栏。

10月3日星期六

Hacker News 首页

Aleph Alpha 发布开放权重模型 Kolibri,支持英德双语与 1M tokens 上下文

Aleph Alpha 发布英德双语 MoE 模型 Kolibri,总参数为 78B、激活参数约 3B,支持最高 1M tokens 上下文。完整权重在 Hugging Face 按 Apache 2.0 许可开放,部署需要提供 Kolibri vLLM 插件的 aleph-alpha-inference 包。

推荐理由:Aleph Alpha 将行业失败案例转成持续运行的评测,并用合成训练环境改进模型,无需使用客户数据训练。

OpenAI News

OpenAI GPT-6 系列模型使用指南:选型、提示词与长任务管理

OpenAI 的 GPT-6 系列使用指南介绍如何选择模型、调整提示词和技能,以及管理长任务的时间与成本。GPT-6 Astra 面向高难度推理,GPT-6.1 Sol 面向复杂编码、研究和计算机使用,GPT-6 Luna 面向目标明确的规模化重复任务;指南建议部署前衡量任务成功率、延迟和每次成功任务的成本。

推荐理由:OpenAI 将模型选择、推理强度与缓存管理纳入同一套生产实践,把任务成功率、延迟和每次成功任务的成本作为优化依据。

10月2日星期五

Latent Space

Pi 1.0 与 Pi Durable 发布,AI Engineer NYC 开放常规票优惠

Pi 1.0 与 Pi Durable 发布,前者新增 Codemode、虚拟模型扩展支持和延迟工具加载,后者将 Pi 移植到 TypeScript 并外置有状态组件。

推荐理由:Pi Durable 将智能体状态外置并记录任务检查点,让进程重启后的恢复与多会话并行运行纳入同一执行框架。

AI HOT · 模型

NVIDIA 介绍 Blackwell GPU 如何加速 OpenAI GPT-6 Astra Ultrafast

GPT-6 Astra Ultrafast 运行于 NVIDIA Blackwell GPU,token 生成速度最高可达 Astra Standard 模式的 8x。

推荐理由:OpenAI 利用自身模型优化 NVIDIA GPU 推理软件,加快响应可缩短编码智能体反复编辑、测试和调试的等待时间。

Hacker News 首页

Earendil 发布实验性智能体框架 Pi Durable,同时推出 Pi 1.0

Earendil 与 Pi 社区发布 Pi 1.0,并推出面向长运行智能体应用的实验性框架 Pi Durable。框架支持持久化检查点与崩溃恢复、并发会话及分叉、后台上下文压缩和多客户端协作,工具调用中断后仅在声明可安全重跑时重新执行。Pi Durable 不替代 Pi 编码智能体,提供 memory、SQLite 和 JSONL 存储,现已可试用,但 API 仍可能变化。

推荐理由:Pi Durable 将模型请求和工具调用纳入带检查点的持久任务,为长运行智能体提供崩溃恢复与安全重跑的工程方法。