跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

455 条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 421–440 条 · 共 455 条

3月7日星期六

彭博科技

美国考虑对英伟达、AMD 的 AI 芯片全球销售搞许可证制度

彭博这期节目提到三件事。第一,美国商务部已经起草了新规,以后英伟达和 AMD 的 AI 芯片不管卖到哪个国家,都得先拿到美国政府的许可才能发货。正文没披露许可门槛怎么划、审批要多久,所以暂时没法判断这到底是真卡脖子还是走个形式。第二,甲骨文因为砸钱扩建 AI 数据中心,现金流吃紧,打算裁掉几千人,但具体裁哪些部门、省多少钱都没说。第三,五角大楼告诉国会...

推荐理由:核心政策信号很大:如果真落地,Nvidia 和 AMD 卖 AI 芯片到任何地方都得先拿美国许可,影响面是整个行业。但原文是视频简报页,细节很薄——范围、门槛、时间表全没写清楚,所以先别太激动,保持高关注但不进头条。

彭博科技

OpenAI 和甲骨文叫停了得州旗舰 AI 数据中心的扩建计划

OpenAI 和甲骨文决定不再扩建位于得克萨斯州的那个旗舰 AI 数据中心。原因是融资谈判拖得太久,加上 OpenAI 自己对算力的需求也变了。不过正文没披露这个设施的具体名字、目标容量、资本开支和调整后的时间表。我会先打个折,因为原文被 Bloomberg 的机器人验证墙挡住了,只能看到摘要片段,更多细节暂时拿不到。

推荐理由:Bloomberg 报道 OpenAI 和 Oracle 放弃了得州一个旗舰数据中心的扩建计划,原因是融资没谈拢,OpenAI 的算力需求也变了。我会先打个折:正文没披露具体是哪个数据中心、原定扩多大、投多少钱、时间表怎么改,所以没法判断影响量级。但这件事值得盯,因为它可能说明 OpenAI 在重新盘算自己到底需要多少自建算力,而不只是地产项目黄了。HKR 三项都踩中,信源权威性也够,只是信息缺口把分数压在 80 出头。

彭博科技

Oracle 和 OpenAI 叫停了德州旗舰数据中心扩建计划

双方不再推进原定在德州扩建的那个旗舰级 AI 数据中心。彭博的报道被付费墙挡住了,正文没披露这个项目的具体规模、预算和时间表。从 RSS 片段看,谈判卡在了融资安排上,同时 OpenAI 自己的算力需求也在重新评估。我会先打个折:这不一定代表 AI 算力投资整体降温,更像是一次具体的合作没谈拢,但融资摩擦和需求重估这两个信号值得留意。

推荐理由:Bloomberg 报的是实打实的基础设施转向,不是传闻。H 和 R 都站得住:合作突然终止本身就意外,而且它同时牵动算力供应和资本开支这两根神经,OpenAI 的需求到底怎么变,会直接影响上下游判断。K 我给得保守,因为文章没给出规模、金额、时间线,信息缺口太大,没法做更实的判断。

2月28日星期六

36 氪 · 直链

阿里千问计划推出 AI 眼镜、耳机和指环,把点外卖、打车功能搬出手机

阿里内部人士透露,千问将在 2026 年面向全球发布三款 AI 可穿戴硬件:眼镜、耳机和指环。眼镜会在 MWC 2026 亮相,3 月 2 日开放预约。千问 App 上已有的点外卖、打车等功能会直接迁移到这些设备上。阿里把这件事看得很重,去年底已经将千问 App、夸克和 AI 硬件业务合并成一个“千问 C 端事业群”。模型端也做了配合,新开源的 Qwe...

推荐理由:这篇独家把阿里的硬件路线图摊开了,三款设备一起上,摆明是要把千问 App 里的外卖、打车能力搬到眼镜和耳机上。我会先打个折,毕竟还没看到真机和实测,但 Qwen3.5-Plus 的成本和吞吐数据如果属实,跑端侧推理确实省钱了。值得从业者盯的是生态联动那部分,正文没细说硬件和支付宝、高德的具体打通方式,这点先别太激动,但方向本身比单品参数重要。

36 氪 · 直链

OpenAI 拿了 1100 亿美元新融资,软银、英伟达各投 300 亿,亚马逊投 500 亿

OpenAI 宣布完成 1100 亿美元融资,投前估值 7300 亿美元。软银和英伟达各出 300 亿,亚马逊出 500 亿,后续还会有其他财务投资人进来。除了拿钱,OpenAI 还跟亚马逊签了战略合作,跟英伟达签了下一代推理计算的协议。不过正文没披露这轮钱具体怎么花、估值逻辑和投资人占股比例。

推荐理由:这条消息同时踩中三个点:融资规模创纪录(1100亿)、估值和出资方信息具体(7300亿投前,三家各出多少都写明了)、而且钱背后绑着算力和云的合作条款。对从业者来说,这不只是OpenAI有钱了,而是算力、资本和渠道正在被同一批玩家锁死,市场格局会跟着变。所以给到H/K/R全过,重要性95,放在p1。

2月20日星期五

Hugging Face 博客

GGML 和 llama.cpp 团队加入 Hugging Face,本地跑大模型的项目会继续独立运营

Hugging Face 宣布 GGML 和 llama.cpp 的团队正式加入公司。Georgi Gerganov 和他的团队会继续把全部时间花在维护 llama.cpp 上,项目的技术方向和社区管理保持完全独立,不会变成闭源。这次合作最实际的变化是,他们会把 transformers 库里的模型定义更顺滑地接到 llama.cpp 里,目标是做到近...

推荐理由:我会先打个折:正文只说了团队加入和方向,没给时间表、团队规模和商业条款,所以别当成交割日来看。但这件事确实值得盯——HF 把 GGML/llama.cpp 团队收进来,等于把本地推理最核心的工程力量绑定了,同时承诺保持 100% 开源和社区自主。真正有意思的是技术对接:如果 transformers 的模型定义能一键落到 llama.cpp,对开发者来说省掉一大截适配工作。这点先别太激动,等他们真把“单击发布”做出来再说。

2月6日星期五

Dwarkesh Patel 访谈

马斯克预测:30 到 36 个月内,太空将成为部署 AI 最便宜的地方

马斯克在播客里抛了个判断:30 到 36 个月后,把 AI 算力放到太空会比地面便宜得多。他的理由不是 GPU 便宜,而是电。中国以外地区的发电量基本持平,但芯片产出在指数级增长,地面建电厂、拿许可、接电网都太慢。太空太阳能没有昼夜和大气衰减,同样一块板发电量大约是地面 5 倍,还省掉了储能电池。至于 GPU 在太空坏了怎么办,他认为只要熬过早期故障期...

推荐理由:这篇能上 featured,靠的是马斯克本人的话题度和那个 36 个月的太空算力判断。我会先打个折:正文没给任何成本模型或验证数据,所以“更便宜”目前只是他个人的推演,别太激动。但它的价值在于点出了地面电力扩张慢这个真问题,对关注 AI 基础设施的人是个有用的信号。

1月30日星期五

彭博科技

Perplexity 跟微软签了 7.5 亿美元的 Azure 云合同,同时正和长期合作的 AWS 闹纠纷

Perplexity 签下一笔 7.5 亿美元的微软 Azure 云服务大单,而它原来的云供应商一直是亚马逊 AWS,双方目前有法律纠纷。这笔钱具体能买多少算力、合同签了几年,正文没披露。对 Perplexity 来说,换云意味着训练和推理的成本结构会变,但实际省不省钱、迁移顺不顺利,还得看后续落地。

推荐理由:这条消息我会先打个折,因为只给了金额和签约方,没给合同年限、算力体量,也没说从 AWS 迁了多少负载。但签约时机刚好卡在跟 Amazon 的法律纠纷上,等于公开把云供应从单一绑定转向再平衡,这对 Perplexity 的训练和推理成本结构影响很大。正文没披露诉讼细节,所以别急着下结论说谁对谁错,但云账单的议价权确实在变。

彭博科技

亚马逊正谈着要给 OpenAI 投 500 亿美元,顺便把算力生意绑在一起

《华尔街日报》的消息说,亚马逊在跟 OpenAI 谈一笔最高 500 亿美元的投资,双方还想把已有的合作关系再扩大。最核心的一点是,这不止是投钱,亚马逊会向 OpenAI 卖算力。不过正文没披露具体的交易结构、时间表,也没说这轮谈判能不能最终敲定。

推荐理由:我会先打个折:500亿是谈判上限,不是已落地的钱。真正值得盯的是算力绑定——亚马逊卖算力给OpenAI,这比单纯财务投资更能说明OpenAI在分散云供应商、降低对微软的依赖。正文没披露交易结构和时间表,所以目前只能当信号看,不能当事实用。

1月12日星期一

36 氪 · 直链

何小鹏放话:未来顶尖 AI 公司都得自己造芯片,小鹏四款新车全换自研图灵芯片

何小鹏在 2026 年 1 月 8 日的新车发布会上说,未来最好的 AI 公司都会选择自己定制芯片,这决定了 AI 产品的性能上限。小鹏当天发布的四款新车全部用上了自研的图灵 AI 芯片,其中 Ultra SE 和 Ultra 版本还搭载了第二代 VLA 模型(视觉-语言-动作模型,让车能像人一样理解路况并做出驾驶决策),号称能实现初阶 L4 级辅助驾...

推荐理由:这篇不是空喊口号,而是用4款车、三档芯片配置和欧洲路测把路线图摊开了。我会先打个折:这还只是规划披露,不是已量产交付的事实,所以放在featured里偏保守的那一端。真正值得盯的是“自研芯片+自研模型+自建部署”这条链条,它把性能天花板从供应商手里拿回来了,对行业比单一产品发布更有长期影响。

1月6日星期二

NVIDIA 博客

NVIDIA 用 RTX 显卡在本地跑 4K AI 视频生成,显存占用降了 60%

NVIDIA 在 CES 上放出了一套本地 AI 视频生成方案,核心是开源模型 LTX-2 和升级版 ComfyUI。在 GeForce RTX 显卡上,生成速度比之前快 3 倍,显存占用最多能降 60%。这主要靠 PyTorch-CUDA 的底层优化,以及 ComfyUI 原生支持了 NVFP4/FP8 低精度计算。下个月还会推一个 RTX Vide...

推荐理由:我会先打个折:这是厂商博客发的生态优化更新,不是新模型发布或平台级变动,所以重要性停在 76 不动。但 HKR 三项都站得住——提速降显存的数据够具体,技术路径也交代清楚了,对玩本地 ComfyUI 的人来说是实打实的好消息。正文没提 LTX-2 模型本身的画质对比,这点先别太激动,等实测。

NVIDIA 博客

NVIDIA 在 CES 2026 说 Rubin 平台已量产,跑大模型的成本能降到上一代的十分之一

NVIDIA 在 CES 2026 上宣布,由六颗芯片组成的 Rubin AI 平台已经进入全面量产。最直接的好处是生成 token 的成本能压到上一代平台的十分之一左右。Rubin 的 GPU 在 NVFP4 精度下推理算力达到 50 petaflops,并且通过一个叫 KV-cache 的存储层把性能又提升了 5 倍。另外,他们还发布了一套叫 Al...

推荐理由:HKR-H 成立,因为 Rubin 进入量产状态本身就是信号,不是路线图更新。HKR-K 靠 50 PFLOPS、5 倍吞吐和约 1/10 成本这几组数字撑起来,比口号实在。HKR-R 成立,因为推理经济学和 NVIDIA 的节奏仍然牵动整个行业,不过公司博客的包装感让它到不了 90 分。

NVIDIA 博客

英伟达预告基于 Rubin 架构的 DGX SuperPOD,单柜 260TB/s 带宽,推理成本号称能降 10 倍

英伟达在博客里公布了下一代 DGX SuperPOD 的规划,核心是换装 Rubin GPU。今年下半年会先出两款机型:DGX Vera Rubin NVL72 和 DGX Rubin NVL8。一个 SuperPOD 可以把 8 台 NVL72 拼在一起,总共塞进 576 颗 Rubin GPU,FP4 算力 28.8 exaflops,总显存 60...

推荐理由:这是一份有硬数字的NVIDIA基础设施路线图:576颗Rubin GPU、28.8 exaflops FP4、600TB内存、260TB/s NVLink,以及推理token成本最多降10倍。HKR三项都站得住,但本质上还是厂商路线图预告,不是已发货的产品或大规模公开发布,所以我会先打个折,重要性给到81。

1月5日星期一

Import AI

Meta 用 GPT、Claude 和 Llama 自动写底层算子,开发时间从几周缩到几小时,部分性能比 PyTorch 基线快 17 倍

Meta 公开了一套叫 KernelEvolve 的系统,专门自动生成和优化 AI 底层算子(kernel),用来在自家不同芯片上跑推荐模型、服务广告。它会接收需求,然后调用内部和外部的大模型(Llama、GPT、Claude)生成候选算子,通过验证后把好的结果存进知识库,让后续生成越来越准。Meta 说这套系统把新算子的开发时间从几周压到了几小时,生...

推荐理由:我会先打个折:这是 newsletter 对技术工作的转述,不是一篇独立论文,所以停在 80 分。但 HKR 三项都站得住——让模型写算子这件事本身就新鲜,数字和流程交代得够具体,去中心化训练那条线又直接碰到算力成本和权力集中的神经。正文说去中心化训练按每年 20 倍在涨,但跟前沿训练还差约 1000 倍,这点先别太激动,差距能不能继续缩小才是政策影响的关键。

2025年12月17日星期三

Mistral AI

Mistral 发布 OCR 3,表单与手写识别升级并接入 Document AI Playground

Mistral 发布 Mistral OCR 3,在表单、扫描文档、复杂表格和手写内容上相对 Mistral OCR 2 取得 74% 的整体胜率,并称准确率超过企业文档处理方案和 AI 原生 OCR 方案。

推荐理由:Mistral OCR 3 在表单、手写和复杂表格上的升级与每千页 2 美元的定价,可供评估文档解析方案时参考。

2025年10月24日星期五

Mistral AI

Mistral AI 发布 Mistral AI Studio 生产平台

Mistral AI 发布 Mistral AI Studio,一个面向企业团队的生产级 AI 平台,由 Observability、Agent Runtime 和 AI Registry 三大支柱组成。

推荐理由:原文给出企业级 AI 生产化的三大支柱与私有 beta 入口,可据此判断其与现有 MLOps 工具的差异。

2025年10月13日星期一

OpenAI News

OpenAI 和博通联手,计划到 2029 年部署 10 吉瓦的自研 AI 加速器

OpenAI 自己设计芯片和系统,博通负责把加速器、以太网、PCIe 和光纤网络打包成整机柜,从 2026 年下半年开始上架,2029 年底前完成全部 10 吉瓦的部署。10 吉瓦这个数字很大,说明 OpenAI 在为未来几年的算力需求提前铺路,而且明确走自研芯片加全以太网集群的路线,不再只依赖英伟达。不过公告没提芯片用几纳米工艺、具体性能参数,也没说...

推荐理由:OpenAI 把自研芯片路线图摆上台面了:和 Broadcom 合作,目标是 10 吉瓦加速器,2026 下半年开始上架,2029 年底前铺完。我会先打个折——正文没披露芯片制程、单卡规格和资本开支,所以别急着算成本优势。真正值得看的是他们选了自研芯片加以太网集群这条路,Broadcom 负责网络和互连,说明不是小规模试水。这点先别太激动,但如果是真的,对英伟达依赖会松一扣。

2025年10月1日星期三

OpenAI News

三星和SK海力士加入OpenAI的星门计划,要猛扩AI芯片产能

OpenAI在10月1日宣布,三星和SK海力士正式加入它的星门(Stargate)AI基建项目。合作的核心是两件事:一是三星电子和SK海力士计划把先进内存芯片的产能拉到每月90万片DRAM晶圆,用来喂饱OpenAI的下一代模型;二是OpenAI跟韩国科技部、SK电讯、三星物产等签了一堆协议,打算在首尔圈外找地方建AI数据中心。三星和SK还会在自己公司内...

推荐理由:OpenAI 拉三星和 SK 进 Stargate,比一般合作多了一层供应链实锤:90 万片 DRAM 月产能目标摆在那,数据中心评估也签了协议。HKR 三项都站得住,但正文没披露投资额、时间表和具体机房规模,所以放在 featured 而不是 p1。

2025年9月23日星期二

OpenAI News

OpenAI、Oracle 和软银给 Stargate 加了五个新数据中心选址,总规划容量接近 7 吉瓦

Stargate 项目在美国新增了五个 AI 数据中心选址,加上已有的德州 Abilene 旗舰园区和与 CoreWeave 的合作,总规划容量接近 7 吉瓦,三年内投资超过 4000 亿美元。这让他们有望在 2025 年底前提前锁定最初承诺的 5000 亿美元、10 吉瓦目标。其中 Oracle 负责的三个新址加一个扩建项目能提供超过 5.5 吉瓦容...

推荐理由:这是 OpenAI 官方放出的基建扩容消息,带着具体数字,不是泛泛的宣传稿。五个美国新站点把 Stargate 规划容量拉到近 7 吉瓦,Abilene 已经开始跑早期训练和推理,信息量够硬。HKR 三项全中:规模本身是钩子,新披露的容量、投资额和交付进度是增量知识,而算力供给紧张正是行业当下的核心焦虑,所以值得推。

2025年9月22日星期一

OpenAI News

OpenAI 和英伟达签了份意向书,要一起搞 10 吉瓦的算力基建

OpenAI 和英伟达宣布了一份合作意向书,计划部署至少 10 吉瓦的英伟达系统,用来训练和跑 OpenAI 的下一代模型。10 吉瓦是什么概念?大概对应几百万张 GPU 的规模。英伟达打算按部署进度分批投钱,总额最高 1000 亿美元。第一阶段 1 吉瓦预计 2026 年下半年上线,会用英伟达新的 Vera Rubin 平台。不过得说清楚,目前这还只...

推荐理由:我会先打个折:目前只是一份意向书,最终条款还没敲定,所以别太激动。但即便只是意向,10 吉瓦的规模和最高 1000 亿美元的投资框架已经足够重磅。文章把交付节奏说清楚了——第一个 1 吉瓦 2026 下半年用 Vera Rubin 平台上线,后面按吉瓦分批落地、分批注资。如果是真的,这会是 AI 基础设施的一次大赌注,也解释了为什么微软的名字会出现在标签里。正文没披露具体的合同约束条款和退出机制,这点先留个心眼。