跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

609 条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 1–20 条 · 共 609 条

今天 · 11月17日星期二

Ars Technica · AI

美国拟收紧芯片管制,限制中国远程使用第三国 AI 算力

美国商务部准备收紧先进芯片管制,限制中国等国家通过第三国数据中心远程租用受限芯片训练和运行 AI 模型。规则将在刊登于《联邦公报》90 天后生效,涉及高转移风险国家的企业须在转移大量先进芯片时申请许可,并执行客户身份核查、尽职调查及每月交易报告要求。专门用于商业推荐系统的算力获豁免,报道指出新规的执行力度在政府内部仍存在分歧。

推荐理由:美国商务部将第三国数据中心的远程算力服务纳入芯片限制,相关企业面向中国客户的业务将承担许可申请与持续尽调义务。

Hacker News 首页

Nvidia 在黄仁勋风波之前已面临竞争压力

Nvidia 在黄仁勋风波之前已面临芯片竞争、中国市场限制及 CUDA 生态壁垒受挑战的压力。文章称,Nvidia 占 AI 加速器销售额的 80 percent,AMD 的份额从 2022 年的 2 percent 升至 2026 年的 7–10 percent,Google、Amazon 和 Microsoft 也在开发自研芯片。

推荐理由:Nvidia 面临专用推理芯片与云厂商自研芯片的竞争,AI 辅助代码迁移又降低了转向其他硬件的门槛,削弱其软件生态的锁定作用。

昨天 · 11月16日星期一

OpenAI News

ChatGPT for Healthcare 增强计算机使用智能体与临床搜索,新增超过 20 个医疗插件

OpenAI 更新 ChatGPT for Healthcare,增强计算机使用智能体和可信临床搜索,并新增超过 20 个医疗插件。智能体可跨应用读取屏幕、点击和输入,机构可配置访问权限、审计日志及人工审核步骤;在超过 1300 次盲评审查中,医生对更新后的临床回答在全部 8 个评估维度上给出更高评价。

推荐理由:OpenAI 为医疗团队加入跨系统操作智能体,并允许机构设定应用访问范围和人工审核步骤,使工作流自动化保留明确的权限边界。

TechCrunch · AI

美国拟收紧 AI 芯片出口管制,限制中国企业远程获取海外算力

特朗普政府周一准备推出新的 AI 芯片出口管制,要求可能向中国等受限国家企业提供算力的海外数据中心取得相关芯片和服务器的出口、再出口或转移许可。规则覆盖总处理性能超过 12 million TPP 的数据中心或网络,也涵盖经中间商获取的间接访问,出口商和运营商须审查客户所有权结构及活动。现有相关运营商须在规则生效后 90 days 内取得许可,商业推荐系统不在适用范围内。

推荐理由:美国拟将向受限国家企业提供远程算力的海外数据中心纳入出口许可范围,合规责任延伸至客户所有权审查和间接访问渠道。

Computing Life · Share · 鸭哥调研

DeepSeek Harness 插件生态评测:相比 Claude Code 和 Cursor 能多做哪些事?

DeepSeek Harness 的插件可改动模型连接、对话历史、远端文件操作和界面布局,文章比较了这些能力与 Claude Code、Cursor、Codex 的差异。

推荐理由:DeepSeek Harness 允许插件替换模型连接、历史记录和界面组件,相比封闭这些入口的编程工具提供了更大的定制空间。

Hacker News 首页

Nvidia 接下来怎么办?分析黄仁勋离任后的接班与创新风险

Steve Blank分析Nvidia在黄仁勋离任后的接班风险,主张董事会同时考虑现有业务执行与商业模式创新。文章称Nvidia董事会宣布黄仁勋辞职,并以Microsoft和Apple的接班经历论述执行型CEO可能延续增长却错失新市场。面对大客户自研AI芯片的竞争,文章建议董事会考察候选人在不确定条件下创造新业务的经历,并处理管理层重组与人才流失风险。

推荐理由:Steve Blank对比微软与苹果的接班案例,指出执行型继任者可能延续收入增长,却在市场转向时削弱企业创新能力。

11月15日星期日

The Decoder

美团发布 LongCat-2.5 权重,全程使用中国硬件训练

美团发布面向多步骤智能体任务的 LongCat-2.5 权重,模型拥有 1.6 trillion 参数,全程使用中国硬件训练。该 MoE 模型每个 token 约激活 48 billion 参数,支持文本、图像和视频输入,权重采用允许商用的 MIT 许可。

推荐理由:美团公布 LongCat-2.5 的智能体评测结果,其常规终端任务表现接近 Claude Opus 5,较难版本的差距更明显。

The Decoder

Anthropic CEO Amodei 在计划 IPO 前坦言,明年业务存在巨大不确定性

Anthropic CEO Dario Amodei 在计划于11月19日进行的 IPO 前表示,算力投资是公司最深层的商业难题,明年业务存在巨大不确定性。算力必须提前一至两年采购,采购不足会影响客户服务和收入,采购过多则可能导致财务过度扩张;公司通过现金储备、较少的预先采购及现货市场补充容量来缓冲风险。

推荐理由:Anthropic将增加现金储备作为缓冲算力采购风险的手段,提前一至两年投入与收入难以预测之间的错配构成上市融资的重要背景。

Hacker News 首页

研究发现 Lovable 应用暴露护照信息及超过 200,000 条私密消息

研究团队分析了 159,041 个 Lovable 项目,发现多个应用无需登录即可访问敏感数据,包括护照信息和超过 200,000 条聊天消息。调查聚焦 Supabase 集成,发现某德国生活方式论坛暴露超过 80,000 份用户资料,某服务商暴露超过 1,000 条含身份证件信息的记录。

推荐理由:研究团队发现多个 Lovable 应用无需登录即可读取敏感数据,重复的数据库集成模式使相似权限错误更容易被批量利用。

11月14日星期六

Hacker News 首页

Google 展示 Antigravity /teamwork 推进科学研究与工程优化的成果

Google 与学术合作团队使用 Gemini 4 和 Antigravity /teamwork,在数学、形式化验证、分子结构发现及系统工程中取得多项研究成果。

推荐理由:Google 的 /teamwork 将并行探索与独立校验结合,并按任务隔离上下文,为长周期科研和工程任务提供可迁移的协作方法。

The Verge · AI

黄仁勋与愿景型明星创始人 CEO 的式微

黄仁勋的长期技术押注与高度个人化管理,是这篇 NVIDIA 创始人领导模式复盘的核心。文章称他已离开公司,并回顾 Riva 128、CUDA 和 AI 计算平台的发展,讨论缺少明确继任者带来的领导与战略愿景缺口。受访分析师认为,产品路线和制造计划已锁定至 2027,工程团队与供应链仍在,后续挑战在于延续创新节奏并减少组织对单个人的依赖。

推荐理由:黄仁勋通过押注图形芯片和 CUDA 将 NVIDIA 推向 AI 计算平台,其长期投入与个人集中的决策结构紧密相连。

TechCrunch · AI

黄仁勋离任,投资人与创始人担忧 AI 初创企业融资出现缺口

黄仁勋已辞去 Nvidia CEO 职务,受访投资人与创始人担忧公司收紧投资会影响 AI 初创企业的融资、估值和交易。PitchBook 数据显示,Nvidia 今年参与了 105 轮融资,且经常是其中最大的投资方;受访人士预计临时 CEO Colette Kress 将采取更保守的投资策略。

推荐理由:受访投资人预计,黄仁勋离任后 Nvidia 将收紧初创企业投资,使依赖其资金与背书的 AI 基础设施公司面临融资和估值压力。

11月13日星期五

DeepSeek · API 更新日志

DeepSeek 发布全家桶应用 API,开放搜索、文件输入与链接阅读能力

DeepSeek 发布全家桶应用 API,开发者在原有 API 中开启对应参数,即可使用联网搜索、文件输入、阅读链接及安全校验能力。deepseek-flash 在 Messages、Responses 与 Chat Completions 接口下支持这些功能,工具调用与上下文拼接由服务端完成,搜索支持非思考模式与思考模式。

推荐理由:DeepSeek 将搜索、文件解析和链接阅读接入原有 API,并由服务端完成工具调用与上下文拼接,减少开发者自行编排这些环节的工作。

Computing Life · Share · 鸭哥调研

为什么近半数泄密配置由 Claude Code 自己提交到 GitHub

Claude Code 的“不再询问”会将含明文凭证的命令写入 .claude/settings.local.json,Apiiro 发现可追溯的泄密仓库中,48.8% 由带有 Claude 署名的提交上传配置。

推荐理由:Claude Code 会把含密码的获批命令写入本地配置,项目级忽略规则与环境变量注入能减少配置被提交时的凭证暴露风险。

Hacker News 首页

Edge0 开源 Edge0-145B 和 Edge0-120B,支持个人电脑本地推理

Edge0 开源 Edge0-145B、Edge0-120B 及统一推理框架和部署工具,支持在适配的个人电脑上运行编码、推理与 AI 智能体任务。内部测试报告 Edge0-145B 峰值内存为 29GB、预填充速度为 1,100+ tokens/s、解码速度为 80+ tokens/s,通过专家矩阵共享、分层加载和 CPU/GPU 协同执行降低运行负担。

推荐理由:Edge0 将模型架构与推理引擎联合设计,通过专家矩阵共享、分层加载和异构调度降低大模型本地运行的内存与数据搬运负担。

The Verge · AI

黄仁勋丑闻远未结束,Nvidia 面临芯片转运疑云

黄仁勋辞职可能无法让 Nvidia 摆脱芯片走私指控及监管风险,这是 Elizabeth Lopatto 对这场丑闻的核心判断。

推荐理由:文章将黄仁勋辞职与 Nvidia 芯片转运指控联系起来,梳理了客户空壳疑云和监管调查受阻所涉及的公司风险。

Computing Life · Share · 鸭哥调研

Anthropic 将请求包从约 800 KB 降至 1.8 KB,为何与英伟达的长上下文压缩建议并不矛盾

Anthropic 的 Message Threads 将长对话请求包中位数从约 800 KB 降至 1.8 KB,减少重复上传、校验和切词,但不减少 token 消耗与账单。

推荐理由:Anthropic 用增量传输降低网关延迟,英伟达用上下文压缩降低解码成本,两条路线分别处理长对话的不同开销。

TechCrunch · AI

黄仁勋被免去 Nvidia CEO 职务可能如何损害 AI 行业:五个方面

黄仁勋被免去 Nvidia CEO 职务可能影响开放权重模型、智能体安全、AI 工具观、AI PC 和数据中心融资,这是 TechCrunch 分析的五个方向。

推荐理由:黄仁勋推动了开放权重模型、智能体安全与数据中心融资,文章分析其离职可能使这些方向失去重要的行业倡导力量。

11月12日星期四

Hacker News 首页

AWS Emulator 与智能体编程时代的工程师职责

AWS 今日发布 AWS Emulator,为编码智能体提供可在本机免费、离线运行的 AWS 测试环境。其代码全部由智能体编写和测试,基于超过 400 个 API 模型,覆盖超过 200 项 AWS 服务,并以真实 AWS 校验行为一致性。代码以 CC0 发布,GitHub 仓库公开完整提交历史及尚不匹配真实 AWS 的问题;工程师负责设计规范、测试和包含安全审查的合并门禁。

推荐理由:AWS Emulator 用真实服务校验测试并设置合并门禁,将智能体编程的质量控制落实到工程师设计的规范与验收机制。

Computing Life · Share · 鸭哥调研

高盛为何在试行三个月后收回业务人员的 AI 编程工具权限

高盛在试行三个月后,于 2026 年 10 月禁止大多数交易员和投行家使用 Claude Code 和 GitHub 编程工具,量化策略师获准继续使用。文章分析,业务人员生成原型后交给工程师上线的流程,仍面临代码验证、安全审计和故障处理成本,本地运行智能体还涉及凭证暴露与审计缺失风险。

推荐理由:高盛收回多数业务人员的编程工具权限并保留量化策略师例外,把代码核查、安全审计与故障责任纳入工具分配标准。