跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

609 条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 101–120 条 · 共 609 条

10月16日星期五

The Verge · AI

Meta 与 Apple 合作,让 Muse AI 模型更好地在 Mac 上运行

Meta 发布 Muse Spark Open 并开放权重,与 Apple 合作使其能通过最新 MLX 框架在两台 Apple M5 Ultra Mac Studios 上运行。Meta 称该模型原生支持多模态,总参数量为 816 billion,擅长长周期任务、复杂软件工程和多步推理。双方已合作数月,Apple 也发布了涉及 MLX、Muse Spark Open 和另外两个开放模型的技术文章。

推荐理由:Meta 与 Apple 将持续数月的合作落实到模型与框架适配,让大规模开放权重模型能在两台桌面设备上运行。

AI HOT · 产品

vLLM 为 Muse Spark Open 提供发布首日支持

vLLM 与 Meta Superintelligence Labs 合作,为 Muse Spark Open 提供发布首日推理和 LoRA RL 支持。该开放权重 MoE 模型面向长周期智能体编码工作流,拥有 816B 总参数、每个 token 激活 42B 参数及 1M 上下文窗口,支持图像、视频和音频感知。

推荐理由:vLLM 将 Muse Spark Open 接入多种硬件平台并提供预构建镜像,部署方无需等待常规安装包合并即可启动模型服务。

AI HOT · 模型

Black Forest Labs 发布开放权重图像模型 FLUX 3 Image Klein(5.6B)

Black Forest Labs 发布 5.6B 参数的开放权重模型 FLUX 3 Image Klein,支持文生图、图像编辑及最多 10 张参考图的多参考生成。

推荐理由:FLUX 3 Image Klein 通过 INT8 量化支持低至 8GB 显存的设备运行,降低本地图像生成与编辑的硬件门槛。

AI HOT · 模型

NVIDIA 发布开源 Nemotron 3.5 Super VL 及两款 Bolt 边缘模型

NVIDIA 发布 Nemotron 3.5 Super VL 和两款 Bolt 边缘模型,覆盖企业服务器到本地设备的智能体部署。Super VL 为 120-billion-parameter 多模态模型,开放权重、数据集和训练配方,支持理解图像、网页及 PDF,并可用组织自有数据进行后训练。

推荐理由:NVIDIA 为服务器和边缘设备推出开放模型,组织能按硬件条件选择部署层级,并用自有数据定制智能体任务。

10月15日星期四

AI HOT · 产品

Black Forest Labs FLUX.3 Image Klein 登陆 Diffusers,支持边界框布局控制

Black Forest Labs FLUX.3 Image Klein 发布并同步支持 Diffusers,在同一模型中提供文生图、多参考图生图与边界框布局控制。

推荐理由:FLUX.3 用归一化边界框指定生成区域及参考图内容的移动位置,让布局指令在不同图像尺寸下保持一致。

Latent Space

Modal 完成 $750M D 轮融资,估值达 $15.75B、年化收入运行率突破 $1B

Modal 年化收入运行率突破 $1B,并完成由 Accel 领投的 $750M D 轮融资,估值达到 $15.75B。其使用量同比增长超过 15x,标题称使用量和估值在 5 个月内均增长至 3x。Modal 在 2023 年推出的 Sandboxes 已达到 $300M 年化收入运行率,累计启动接近 3 billion 个沙盒,支持百万并发,用途包括后台智能体、强化学习和自然语言编程平台。

推荐理由:Modal 的沙盒业务达到 $300M 年化收入运行率,后台智能体、强化学习与编程平台构成了其基础设施需求的具体来源。

Hacker News 首页

AI-DLC 为 AI 编码智能体提供跨工具的结构化开发工作流

AI-DLC 通过工具无关的核心,将 AI 编码助手接入结构化、可验证的软件交付流程,支持 Claude Code、Kiro CLI、Kiro IDE、Codex CLI、Cursor、opencode 和 GitHub Copilot。

推荐理由:AI-DLC 将需求、实现、测试和运维串入带审批门与审计记录的统一流程,让跨编码工具的软件交付保留决策依据。

Hacker News 首页

OpenCode 2.0 发布,重构后台服务与 API 并加入后台任务

OpenCode 2.0 发布重大更新,将 TUI、网页界面和桌面应用统一连接到自动运行的本地后台服务,并重构 API。Code Mode 默认将 MCP 工具转为可由脚本组合调用的函数,新增后台子智能体与异步 shell 命令,TUI 插件转为稳定功能,并提供仍在开发中的 @opencode/sdk。

推荐理由:OpenCode 2.0 将多种客户端接入同一后台服务,并让子智能体与耗时命令在后台运行,减少主智能体等待任务完成时的交互阻塞。

10月14日星期三

AI HOT · 行业

Character.ai 破产文件披露算力成本与收入失衡

Character.ai 在破产文件中称,高昂的运营开支和法律费用推动公司走向破产,即使没有法律问题,其业务也难以持续。2025 年每月算力开支为 $10 million,而包括广告在内的总收入峰值仅为每月 $5.3 million;截至 2026 年 8 月,削减成本后仍每月亏损约 $8-9 million。

推荐理由:Character.ai 披露破产前的算力开支与收入差距,降低推理成本、裁员和引入广告后仍持续亏损。

GitHub Blog · AI & ML

GitHub 解读秘密凭据检测模型:发现更多真实凭据,减少误报

GitHub 详解秘密凭据扫描的两阶段流程,用正则生成候选,再由微调的 ModernBERT 结合上下文区分真实凭据与误报。相比此前的 LLM 流程,离线评估的精确率提高 13%、召回率提高 19%,客户 A/B 实验中按仓库所有者加权的告警接受率提高 11.5%。推送后扫描执行时间中位数降低 86%,服务成本降低超过 98%,效率提升也使通用秘密凭据检测能够扩展到推送保护。

推荐理由:GitHub 用正则筛选候选凭据,再让小型分类器结合上下文排除误报,将确定性扫描与机器学习分工用于边界明确的检测任务。

AI HOT · 技巧与观点

Anthropic 自研版本控制系统 Scion,五个月完成 monorepo 从 git 迁移

Anthropic 用五个月建成自研版本控制系统 Scion,并将 monorepo 从 git 完整迁移,以应对每日合并代码变更从 5 月约 2,500 次增至 9 月超过 30,000 次。

推荐理由:Anthropic 将版本控制计算集中到服务端,并用按需获取和分层缓存减少智能体任务维护本地仓库的负担。

Computing Life · Share · 鸭哥调研

如何把 ChatGPT 订阅接进开发工具:三条接入路径与限制

ChatGPT 订阅接入外部开发工具有官方 API key、Sign in with ChatGPT 和复用 Codex 客户端身份三条路径,文章比较了各自的计费与使用限制。

推荐理由:文章比较 ChatGPT 订阅授权、API key 与复用 Codex 身份三条接入路径,区分了计费方式、功能限制和协议保障。

10月13日星期二

Computing Life · Share · 鸭哥调研

Anthropic 成本指南解读:该调 effort 还是换模型

Anthropic 成本指南建议按每个成功任务的成本比较模型,并优先测试调整 effort,再衡量多模型分层是否更划算。文中指出,会话中切换模型可能破坏提示词缓存,调整 effort 则不会;SWE-bench Pro 测试中,先用 low、失败后用 high 重跑,准确率为 97.0%,每题成本为 0.17 美元,全量 high 则为 95.3% 和 0.29 美元。

推荐理由:Anthropic 指南将单模型低 effort 的每任务成本设为分层方案的比较基线,让调度架构的成本收益有了具体衡量标准。

AI HOT · 技巧与观点

Vapi 自研代码审查机器人如何将 PR 合并时间缩短一半

Vapi 自研的 Pedantic Review Bot 已审查工程师提交的每个 PR,平均合并时间从超过 130 小时降至 65 小时。机器人在报告问题前可追踪调用、运行测试或编写复现,分析任务移除 Git 凭据,由独立任务校验结果并发布评论,不能批准或推送代码。

推荐理由:Vapi 将代码审查智能体的分析与评论发布任务分离,并要求运行测试或复现后再报告问题,为自建审查机器人提供权限隔离方法。

Hacker News 首页

Anthropic 研究:AI 模型可能无需数据中心就能自我复制

Anthropic 的实验显示,小型 AI 模型已能完成自我复制的多项步骤,但尚未形成完整的失控自我复制系统。研究在 15 台 Android TV 盒子上运行 Gemma4-26B-A4B,达到 0.39 tokens per second,Qwen3.5-9B 能在 9 类受测硬件中的 8 类上部署推理。

推荐理由:Anthropic 将推理部署与端到端复制分开测试,明确了小模型适配陌生硬件的能力与完成整条复制链之间的差距。

10月12日星期一

Computing Life · Share · 鸭哥调研

AI 生成界面的设计方向,如何由外置规则文档控制

AI 即时生成界面的具体设计方向依赖外置规则,文章将基础模型、规则文档与组件库及编译器归纳为界面的生成内核。文中以 Anthropic 的 frontend-design 技能文档为例,介绍先输出色彩、字体、布局和设计原则,再编写前端组件的流程,并对比 OpenAI Intelligent UI 的标准化组件与流式渲染路径。

推荐理由:Anthropic 将界面设计流程写入技能文档,先确定色彩、字体与布局再生成组件,为按品牌方向约束模型输出提供了可迁移方法。

Hacker News 首页

Campfire Once 的 AI 重写复盘:开发者仍需思考工程取舍

Piotr Sarnacki 分析并复测 Campfire Once 的 AI 重写版本,指出开发者仍需审查代码、明确约束,不能凭单一指标判断语言优劣。

推荐理由:Sarnacki 检查 Campfire Once 的 AI 重写代码,指出吞吐量比较受到各版本兼容性与队列设计差异的影响。

10月11日星期日

Hacker News 首页

Yandex Cloud 数据中心遭无人机袭击,云平台进入应急模式

Yandex Cloud 通报,位于 Vladimir 的数据中心因无人机袭击受损并完全停运,无人员伤亡,云平台进入应急模式。ru-central1-a 和 ru-central1-b 不可用,平台建议使用其他平台的灾难恢复方案。

推荐理由:Yandex Cloud 数据中心受袭后进入应急运行模式,计算服务在其他可用区运行,但存储写入和部分数据库仍受影响。

Hacker News 首页

消耗 500B tokens 后,AI 智能体如何反编译一款第一人称射击游戏

项目团队历时 3 个月,用 AI 智能体重建一款第一人称射击游戏的 C++ 源码,已覆盖 99% 的函数,其中 83% 达到字节精确匹配。早期代码虽可运行却存在语义错误,团队随后采用原版编译器和字节匹配校验,并每小时刷新指令,约束智能体偏离任务及修改验证脚本的行为。作者估计实际消耗为 600-700 billion tokens,认为项目已完成,代码将保持私有。

推荐理由:项目团队用字节匹配校验约束反编译智能体,将正确性转化为机器可检查的验收条件,减少审查智能体被代码注释中的辩解误导。