跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

609 条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 41–60 条 · 共 609 条

11月4日星期三

TechCrunch · AI

Anthropic 仍在应对算力成本的经济难题

Anthropic 更新的 IPO 申报文件显示,季度收入从 $11.5 billion 增至 $17 billion,算力成本占收入的比例却从 48% 升至 58%,经营亏损也随之扩大。

推荐理由:Anthropic 为满足快速增长的需求采购高价短期算力,收入增长伴随算力成本占比上升,利润空间受到供应条件挤压。

The Verge · AI

Apple 全面押注 AI,通过自有与第三方技术拓展收入

Apple 正通过硬件销售、第三方 AI 应用订阅抽成及计划中的自有 AI 服务扩容收费,把 AI 使用转化为收入。上季度资本支出为 $2.2 billion,低于 Amazon 的 $77.3 billion 和 Alphabet 的 $51.4 billion,这些数字均为公司整体资本支出,并非仅限 AI。

推荐理由:Apple 通过硬件销售、应用订阅抽成和自有 AI 服务扩容收费获利,其资本支出规模远低于投入基础设施的同行。

11月3日星期二

Hacker News 首页

deepsense.ai 总结可用于真实代码仓库的十项编码智能体 Harness 模式

deepsense.ai 总结十项编码智能体 Harness 实践,通过仓库知识、即时上下文和验证反馈提高 AI 辅助开发的可靠性。团队结合 Codex、Claude Code 实测,建议用简短 AGENTS.md 链接深层文档,按任务组织代码、测试和历史决策,并让人类、智能体与 CI 共用验证命令。

推荐理由:deepsense.ai 将编码智能体实测经验整理为仓库文档、按任务加载上下文和有界验证流程,把重复错误转成可维护的测试与规则。

The Decoder

Anthropic 季度收入增至同期十二倍,净亏损达 $23.3 billion

Anthropic 季度收入接近 $17 billion,达到上年同期的十二倍,但运营成本达 $17.5 billion,季度净亏损增至 $23.3 billion。

推荐理由:Anthropic 的季度收入增至上年同期的十二倍仍录得运营亏损,短期算力采购与员工捐款配捐加重了上市前的成本压力。

11月2日星期一

Hacker News 首页

中国商务部、科技部第48号公告拟将前沿模型与智能体纳入出口管制

中国商务部、科技部于2026年10月16日发布第48号公告,拟新增40项禁止或限制出口技术,其中23项涉及AI,临时出口登记要求已生效。目录修订草案征求意见截至2026年11月15日,前沿模型限制条件包括训练计算量至少10^26 FLOPs、参数量至少2 trillion或出口时相关全球排名进入前10,智能体另设独立能力门槛。

推荐理由:中国商务部将境外本地部署受限模型纳入出口管理,企业自托管模型的供应商许可与持续更新安排由此面临合规约束。

Computing Life · Share · 鸭哥调研

大模型推理为何采用 PD 分离,Cloudflare 又如何因此泄露用户代码

PD 分离通过拆开预填充与解码改善推理性能,但 Cloudflare 的 GLM-5.3 部署因异常请求处理漏洞发生跨租户缓存泄露。Cloudflare 的复盘指出,155 条超长上下文回复混入其他用户的对话或代码,原因是超限请求被替换为 1 个 token 的占位符后仍进入跨节点传输,解码节点读取了未被覆盖的旧缓存。

推荐理由:Cloudflare 在泄露修复中加入传输数量校验与延迟显存回收,将跨节点异常退出时的数据覆盖和页面归属纳入安全检查。

11月1日星期日

Hacker News 首页

Linux TCP 释放后使用漏洞 CVE-2026-98432 解读,CVSS 评分 9.8

Linux IPv4 TCP 握手存在释放后使用漏洞 CVE-2026-98432,内核 CNA 将其评为 CVSS 3.1 9.8,多个稳定分支已发布修复。受影响范围为缺少补丁的 Linux 4.4 及后续内核,截至 October 29 晚 8:00 PM CDT,Ubuntu 各版本及 RHEL 8、9、10 仍未提供修复,更新内核后需要重启宿主机才能生效。

推荐理由:Atlas 按发行版梳理了漏洞修复状态并解释内核检查方法,容器镜像更新不能替代宿主机内核修补与重启。

10月31日星期六

Hacker News 首页

研究团队如何通过 ChatGPT 分享链接接管用户账户

研究团队发现,恶意 ChatGPT 公开分享链接可在访问者的已登录会话中执行 JavaScript,读取并外传未共享的私聊内容。攻击串联了图表加载的 MathLive、HTML Preview、未隔离的 iframe 和 YouTube JSONP,自动预览版本只需受害者打开链接即可触发。

推荐理由:研究团队通过恶意 ChatGPT 分享链接读取并外传私聊内容,将跨框架消息校验缺失的影响追溯到用户已登录会话中的数据访问权限。

Computing Life · Share · 鸭哥调研

Anthropic 招股书解读:85.4% 纯推理毛利背后的模型迭代与交付成本

Anthropic 招股书解读将模型迭代、算力和渠道成本纳入分析,指出今年上半年纯推理毛利率虽达 85.4%,扣除训练算力与云平台分成后收入余量约为 26.3%。

推荐理由:文章将 Anthropic 的训练算力与云渠道分成纳入成本比较,区分了纯推理毛利与覆盖持续模型迭代后的收入余量。

AI HOT · 技巧与观点

OpenRouter 教程:用 Agent SDK 搭建常驻 AI 智能体监控 Hacker News

OpenRouter 教程使用 TypeScript 和 @openrouter/agent 0.11.0 搭建定时监控 Hacker News 的智能体,生成摘要并通过文件记忆避免重启后重复报告。

推荐理由:OpenRouter 教程将定时检查、持久化记忆、费用限制和人工审批组合成常驻智能体,可将同一结构迁移到仓库或状态页监控。

TechCrunch · AI

Nvidia 考虑为 Nscale 在西弗吉尼亚州的 AI 数据中心贷款提供担保

Nvidia 正洽谈为 Nscale 在西弗吉尼亚州规划的 Anthropic 数据中心提供数十亿美元债务融资担保。拟议安排涉及剩余价值担保,若 Nscale 拖欠建设款项,Nvidia 将临时接管设施并协助寻找买家和新租户。

推荐理由:Nvidia 正洽谈为 Nscale 的数据中心建设债务提供担保,将其对云客户的财务支持范围从租赁和芯片采购延伸至建设风险。

TechCrunch · AI

科技巨头加码AI基础设施支出,投资者担忧现金流与回报

Alphabet、亚马逊、Meta和Microsoft计划今年投入超过$740 billion资本开支,投资者对AI基础设施成本、负自由现金流和投资回报的担忧加剧。

推荐理由:Alphabet、亚马逊和Meta扩大资本开支时均出现负自由现金流,AI基础设施投入正给支撑这些投入的主营业务现金流带来压力。

The Verge · AI

Sam Altman 称 RAM 放在数据中心比放在个人电脑里更好

OpenAI CEO Sam Altman 在 Cheeky Pint 播客中表示,RAM 供应紧张时应优先提高云端利用率,将有限内存分散在个人电脑中并不理想。

推荐理由:Sam Altman 用个人电脑内存利用率偏低解释云端集中配置的理由,将本地推理争论放在全球 DRAM 供应受限的背景下。

10月30日星期五

Hacker News 首页

Phorion解析Cursor Marketplace中Claude Code扩展的SSH后门

Phorion发现Cursor Marketplace上的官方Claude Code for VS Code 2.1.313扩展包被植入持久化SSH后门,相关版本已被下架。

推荐理由:Phorion梳理了扩展后门的文件写入与持久化痕迹,将检测重点落在文件修改和隧道行为上,避免依赖可能缺失的SSH启用命令。

AI HOT · 产品

Factory 发布 Droid 1.0,以程序化工具调用构建企业级 AI 智能体 harness

Factory 发布 Droid 1.0,将程序化工具调用设为多个模型的默认模式,并同步更新桌面应用、CLI 和 Droid SDK。Script 工具允许模型在沙箱中编写 JavaScript,单次模型请求执行数百次工具调用,仅将必要输出送入上下文;Factory 测试显示,该模式在 Claude Opus 5.5 上降低 Droid 成本 15%。

推荐理由:Factory 将批量工具调用封装为沙箱程序,让原始结果留在程序内并只返回必要输出,减少长任务中的上下文占用与重复请求。

Simon Willison

Spawn 如何用 Fable 驱动的自主智能体构建多人游戏世界

Spawn 让玩家通过游戏内智能体 Savi 修改多人游戏世界,Jacob Sansbury 称其开发已由 Fable 驱动的智能体群自主进行,每月模型 token 成本超过 $3 million。

推荐理由:Spawn 将生产报错直接交给智能体处理,并以每小时部署和局部回滚缩短反馈周期,让自主编码持续衔接线上故障处理。

10月29日星期四

AI HOT · 模型

Mistral Large 4(Le Chonk)登陆 Hugging Face,开放约 1T 参数多模态模型权重

Mistral Large 4(Le Chonk)在 Hugging Face 开放权重,采用多模态、多语言 MoE 架构,支持文本和图像输入、文本输出。模型约有 1T 总参数、49B 激活参数和 1M tokens 上下文窗口,提供 FP8、NVFP4 官方版本,许可证对模型即服务业务设有限制。

推荐理由:Mistral Large 4开放权重并提供多种部署路径,让安全团队能够自行控制漏洞复现与修补任务的使用政策和运行环境。

The Verge · AI

Anthropic 正要求华尔街相信 AGI,上市财务背后有哪些增长假设?

Anthropic 已提交 S-1,计划在 Nasdaq 上市,Decoder 访谈剖析了其财务表现与追逐 AGI 的商业风险。

推荐理由:SemiAnalysis 分析师梳理 Anthropic 的收入来源与客户支出,未来增长预期依赖编码之外的企业需求扩大。

AI HOT · 技巧与观点

OpenRouter 教程:用 LLM 从 PDF 中抽取表格

OpenRouter 教程通过发送 PDF 和严格 JSON schema,将表格抽取为带明确数据类型的行,并用字段描述处理括号负数、脚注和合并单元格。测试覆盖 5 份 PDF,其中 2 份为扫描件,直接读取 PDF 的模型均正确抽取全部 644 个单元格,这一结果仅代表该测试集。

推荐理由:OpenRouter 将严格行结构与字段清洗规则用于 PDF 表格抽取,并用空结果和输出截断检查捕获正常响应中的漏行风险。

AI HOT · 行业

Alphabet Q3 财报:年化收入达 5000 亿美元,Google Cloud 收入增长 103%

Sundar Pichai 发布 Alphabet Q3 业绩,年化收入 run rate 达 5000 亿美元,总收入同比增长 25%。Google Cloud 收入增长 103%,1P 模型 API 每分钟处理近 32B tokens,环比增长 40%。Search 查询同比增速为五年来最高,他还提到 Argon、Carbon 领跑前沿及最新世界模型 Genie 4。

推荐理由:Alphabet 披露 Q3 总收入同比增长 25%,Google Cloud 收入增长 103%,云业务增速高于整体收入增速。