跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

609 条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 81–100 条 · 共 609 条

10月21日星期三

OpenAI News

OpenAI 与 Google Cloud 合作,将模型及 Codex 接入 Model Garden

OpenAI 与 Google Cloud 宣布合作,将 OpenAI 前沿模型及 Codex 智能体工作流接入 Google Cloud 的 Model Garden,计划在未来几周正式开放。

推荐理由:OpenAI 与 Google Cloud 合作提供模型访问,企业将能沿用现有云支出承诺采购模型并在原有数据治理环境中部署。

Latent Space

DeepSeek 开源 DeepInfer,披露含缓存的单集群 155T tokens/day 推理数据

DeepSeek 开源支撑 V4.1 Flash 的推理引擎 DeepInfer 及 API 处理组件 deepseek-recipe,支持分布式推理、推测解码和结构化输出。

推荐理由:DeepSeek 开源 DeepInfer 并披露高缓存命中率下的生产数据,缓存计费与硬件成本口径直接影响推理利润率估算。

Computing Life · Share · 鸭哥调研

调查者如何通过公开记录与提示词注入追踪腾讯云智能体舰队

Swarmchasers 通过公共扫描记录、临时收件箱和提示词注入,追踪到一批运行于腾讯云环境、尝试获取高德地图数据的智能体。它们借用 httpbin 和 urlquery 的浏览器执行抓取代码,一周内留下近 2,600 个针对高德域名的提交,研究团队未发现突破高德核心反爬或进入内部系统的证据。

推荐理由:Swarmchasers 沿公共扫描记录和临时收件箱追踪智能体,将外部行为、网络归属与运营方自述分层,划清了公开调查的证据边界。

TechCrunch · AI

Anthropic 云合作关系趋于复杂,算力容量采购遇阻

据《华尔街日报》获得的泄露 S-1 文件,Anthropic难以从AWS、Google和Microsoft获得足够云容量,这些厂商日益将其视为竞争对手。公司预计云合同支出可能超过$750 billion,包含仍在谈判的交易,并正租赁自有数据中心、与第三方运营商合作,但担忧后者运营历史有限、可靠性不足。

推荐理由:Anthropic在云厂商日益将其视为竞争对手时转向自租数据中心,容量保障又受第三方运营商可靠性风险制约。

AI HOT · 产品

Meta 开放权重模型 Muse Spark Open 上线 Fireworks 美国区 serverless

Meta 的开放权重模型 Muse Spark Open 发布当日上线 Fireworks serverless,使用美国区容量且不收取美国区溢价。该 MoE 模型拥有 816B 参数,每个 token 激活 42B 参数,上下文窗口为 1M token,面向长时程编码与智能体任务。

推荐理由:Fireworks 将 Muse Spark Open 部署于美国区并默认零数据留存,为受监管专业工作提供了明确的数据驻留与留存边界。

AI HOT · 行业

SpaceX 财报显示 AI 业务超预期,占收入 52%

SpaceX 财报显示,AI 业务已占收入的 52%,第三季度收入为 $14.6 billion,净利润为 $4.4 billion。增长尤其来自更名后的 Super Intelligence 业务,涵盖近期收购的 Cursor、Grok 和拥有 1.7 GW 算力的新型云业务。

推荐理由:SpaceX 第三季度扭亏为盈,前九个月仍累计亏损且持续投入数据中心建设,季度盈利与全年盈利压力形成对照。

Mistral AI

Mistral AI 发布 Voxtral 3 语音模型系列及语音智能体 SDK

Mistral AI 发布 Voxtral 3 语音识别与语音生成模型系列,并推出整合听取、推理、工具调用和发声的实时语音智能体 SDK。转录支持 50+ 种语言,实时转录延迟低于 500ms;语音生成支持 35+ 种语言和 50+ 种方言,可按上下文调整情绪、语速和重音。

推荐理由:Mistral 将语音识别、推理、工具调用和语音生成整合为流式管线,各阶段模型可独立替换,减少更换语言或声音时重写智能体的需求。

10月20日星期二

AI HOT · 产品

Cursor 发布 Agent SDK,可用代码定义并一键部署智能体

Cursor 正式发布 Agent SDK,支持用代码定义智能体,并通过 agent-sdk deploy 部署到 Cursor 基础设施。该框架支持响应 PR 等事件、任务移交与并行子智能体,内置评估和事件回放,提示词与工具可纳入版本控制和审查流程。智能体也可作为单个 Node 进程在自有基础设施运行,原文链接为 https://cursor.com/blog/agent-sdk。

推荐理由:Cursor Agent SDK 将提示词、工具和评估组织为代码项目,让团队自定义智能体沿用软件的版本控制与审查流程。

AI HOT · 产品

Cursor 正式推出 Agent SDK,支持以代码文件夹定义并部署智能体

Cursor 正式推出 Agent SDK,支持以代码文件夹定义智能体、通过评估测试,并部署到 Cursor 或自有基础设施。

推荐理由:Cursor Agent SDK 将提示词、工具和技能组织为代码项目,通过本地评估与真实 PR 回放测试智能体行为。

Hacker News 首页

Inception 发布 Mercury 3,将文本扩散模型扩展至更大规模

Inception 发布扩散式大语言模型 Mercury 3,宣称其在多项基准上超过 GPT-6 Luna 和 Claude Haiku 5.5,运行速度快4–8x。

推荐理由:Inception 将 Mercury 3 的参数规模扩大至 Mercury 1 的40倍以上,同时保持相近速度,为文本扩散模型提供了规模化比较。

10月19日星期一

AI HOT · 技巧与观点

Meta 详解 Prometheus 吉瓦级超集群:一期已完成并用于训练 Muse 模型

Meta 的吉瓦级超集群 Prometheus 一期已完成并用于训练 Muse 系列模型,目前拥有数十万 GPU,计划扩展至约 1 million GPUs。Muse Wonder 预训练和 RL 训练的有效吞吐占比分别超过 85% 和 90%,通过一年的工程优化,集群中断次数较峰值减少 99%。

推荐理由:Meta 将机架内备用 GPU、并行感知容错与异步检查点结合,为大规模训练提供减少故障停机和重复计算的工程方法。

Hacker News 首页

Stripe 将收购 OpenRouter,报道交易金额为 $7.5B

Stripe 已同意收购 OpenRouter,《纽约时报》报道交易金额为 $7.5 billion,双方联合声明确认协议但未公开价格。OpenRouter 通过单一 API 接入超过 400 个 AI 模型,据双方称每天处理超过 10 trillion tokens,服务超过 10 million 名开发者。

推荐理由:Stripe 收购 OpenRouter 将模型路由纳入其支付与 token 计费体系,使路由中立性与商业激励的关系成为交易后的核心问题。

Computing Life · Share · 鸭哥调研

Anthropic 的 CI 与 Scion 重构分析:哪些工程判断能复用,哪些不必照搬

Anthropic 用 Scion 重构内部源码控制,文章分析了 AI 智能体规模下可复用的工程判断与不宜照搬的系统设计。其大仓库每日合入量从 2026 年 5 月的 2,500 次增至 9 月的超过 30,000 次,Scion 采用轻客户端、服务端重计算和三层缓存,报告称源码控制基建的 CPU 与内存占用缩小了 200 倍。

推荐理由:Anthropic 用 Scion 重构源码控制,普通团队可迁移的工程方法集中在按需拉取代码、审查改动意图与建立自动回滚护栏。

10月17日星期六

Hacker News 首页

Neuralwatt 解读智能体运行框架如何影响能耗与 token 效率

Neuralwatt 分析云端流量与实验请求发现,智能体运行框架修改既有提示词会破坏缓存,增加重复计算与能耗。相同模型、相近输入输出长度下,缓存基本未命中的请求能耗约为缓存命中请求的2倍,GLM-5.3约为2.5倍;上下文超过128k tokens时,一次大范围重读的预填充计算量约相当于600次普通轮次。

推荐理由:Neuralwatt通过逐条请求分析定位缓存失效原因,将稳定提示词前缀、追加状态变更归纳为减少智能体重复计算的方法。

The Decoder

中国拟收紧开放权重模型及23项关键AI技术的出口管制

中国商务与科技部门发布技术出口目录修订草案,拟对涵盖大模型、智能体、计算集群和数据处理的23项关键AI技术实施出口管制。大模型核心技术达到10^26 FLOPs训练计算量、至少2 trillion参数或全球前10任一条件即受管制,使用中国“重要数据”训练并据此提供服务的模型也受限制。

推荐理由:中国拟对大模型核心技术出口设置许可门槛,海外本地服务器部署与自有海外云部署将适用不同流程,直接影响模型出海的部署路径。

10月16日星期五

AI HOT · 产品

NVIDIA RTX Spark 笔记本今日开售,最高配备 128GB 统一内存

NVIDIA RTX Spark 笔记本今日全球开售,最高提供 128GB 统一内存和 1 petaflop FP4 AI 性能,起价 $2,599。产品结合 Blackwell RTX GPU、Grace CPU 与 CUDA,支持本地运行大语言模型和 AI 智能体,并提供智能体权限控制及家庭网络推理服务。

推荐理由:NVIDIA RTX Spark 将本地模型运行、编码和测试整合到 Windows 笔记本中,让开发流程减少对云端测试环境的依赖。

AI HOT · 行业

商务部、科技部拟在出口技术目录增列23项人工智能技术并征求意见

商务部、科技部发布2026年第48号公告,拟在《中国禁止出口限制出口技术目录》中增列23项人工智能关键技术并公开征求意见,同时实施出口前登记临时管理措施。拟列管范围涵盖大模型、智能体、算力集群和信息处理,已通过开源或学术论文进入公共领域的相关技术拟不纳入出口管理。

推荐理由:商务部、科技部明确限制类大模型海外部署与境外调用的管理边界,技术转移与服务提供的区分直接关系企业出海合规。

AI HOT · 产品

SGLang 为 816B 开放权重多模态模型 Muse Spark Open 提供 Day-0 支持

SGLang 为 Muse Spark Open 提供 Day-0 支持,加入序列并行、NVFP4 MegaMoE、多模态处理优化及 DFlash V2 推测解码。

推荐理由:SGLang 将序列并行与 MegaMoE 联用于长提示词预填充,在七档并发测试中将 p90 首 token 延迟降低 28.3–41.9%。

AI HOT · 技巧与观点

Meta 如何用 AI 原生工程方式开发 Forum 应用

Meta 用 AI 智能体参与 Forum 的规划、实现、测试和验证,小团队在 8 周内实现了与 Facebook Groups 核心功能的对齐。团队通过可读取的应用状态、自动化验证和构建隔离支持智能体执行任务,部分阶段仍需工程师参与迭代,所有上线结果都由工程师签字确认。

推荐理由:Meta 将自动化测试、界面检查和验证记录接入智能体开发流程,让工程师依据可核查的结果审核代码并保留上线签字责任。