跳到正文

NVIDIA 英伟达

英伟达的 AI 芯片与生态动态:GPU 新品、CUDA 生态、机器人平台与 AI 算力市场的风向。

290 条精选相关主题部署工程行业动态具身智能

最新精选

第 201–220 条 · 共 290 条

5月20日星期三

新智元 · 公众号

摩尔线程 MUSA 生态更新:SDK 对齐 CUDA 12.8,SGLang 主线已合并

摩尔线程放出了自家 GPU 生态 MUSA 的最新进展。SDK 5.1.0 把兼容目标拉到了 CUDA 12.8,覆盖了 761 个驱动和运行时接口,意思是跑 CUDA 代码时能认的指令更多了。推理框架 SGLang 的主线代码已经合并了 MUSA 的支持,硬件支持排期在 2026 年第二季度。另外还提了一个叫 MUSACODE 的工具,能自动把库迁移...

推荐理由:我会先打个折:这还是一家厂商的生态更新,不是整个国产 GPU 阵营的集体突破。但文章把兼容 API 数量、SDK 版本对标和 SGLang 主线合入这几个点都摆出来了,比空谈“替代 CUDA”实在。老黄喝豆汁的梗让标题有了传播力,内文也没写成公关稿,对关注推理部署和算力自主的读者来说值得一看。

FT · 科技

英伟达黄仁勋用 900 亿美元投资把客户和初创公司绑上自家芯片生态

这篇报道的正文被付费墙挡住了,只返回了安全验证页面,所以具体细节没法核实。从标题和摘要片段看,英伟达正在搞一轮总额 900 亿美元的投资扫货,规模已经对标科技巨头里最激进的风投部门。黄仁勋的思路不是单纯撒钱,而是通过投资让客户和 AI 初创公司深度依赖英伟达的芯片与技术栈,把买卖关系做成生态绑定。正文没披露这 900 亿是已承诺金额、已部署资金还是包含...

推荐理由:这篇 FT 报道把 Nvidia 近年的投资和云信用额度打包成一个 900 亿美元的交易网,角度挺狠——不是卖铲子,是直接当 AI 热潮的银行。我会先打个折:900 亿是承诺总额,不是已经花出去的钱,正文也没拆清楚股权投资和云额度各占多少。但核心逻辑站得住:Nvidia 通过投资初创公司和给云厂商额度,让下游客户用它的 GPU 训练和推理,同时换来对 Nvidia 硬件的长期依赖。这点对从业者来说很实际,算力成本高企、担心被一家供应商锁死,都是日常痛点。文章没披露这些交易的具体条款和回报预期,所以没法判断财务上划不划算,但作为行业信号已经够分量。整...

纽约时报中文网

中国法院第三次判企业用 AI 替代员工后辞退违法,杭州案月薪从 2.5 万降到 1.5 万被认定非法解雇

杭州中院把一起 AI 替代岗位的案子定为指导性案例:公司用 AI 取代质检岗,给员工调岗但月薪从 2.5 万砍到 1.5 万,员工拒绝后被辞退,法院认定公司没做合理安置,属于违法辞退。这是中国官方第三次公开支持被 AI 抢走工作的劳动者胜诉,信号很明确——企业引入 AI 算自愿降本,不能当裁员的理由。文章提到中国青年失业率约 17%,超 2 亿人在零工...

推荐理由:这篇 NYT 报道把中国 AI 政策与劳动仲裁案例绑在一起讲,杭州案的数字和判决理由都写清楚了。它不是模型发布或产品动态,所以重要性给 80、放在 featured 比当天必写更合适。我会先打个折:正文没披露企业名称和具体行业,但三个公开判例的累积信号已经够强,值得让从业者看到政策与法院之间的拉扯。

r/LocalLLaMA

用 4 张老 RTX 2080 Ti 在本地跑 DeepSeek-V4,预填充跑到 255 token/s

一个 Reddit 用户用 4 张 RTX 2080 Ti 显卡(总预算不到 2500 美元)在本地跑起了 DeepSeek-V4-Flash 模型。模型总参数 2840 亿,每次推理激活 130 亿参数。他用了 W8A8 量化(把权重和激活值都压到 8 位精度)来省显存,还自己写了适配老 Turing 架构的 CUDA 算子。机器配了 1TB 的 D...

推荐理由:一个 Reddit 用户用 4 块二手 RTX 2080 Ti 搭了一套不到 2500 美元的机器,跑 DeepSeek-V4-Flash(284B 参数,每次推理只激活 13B),通过 W8A8 量化和自己写的 Turing 内核优化,prefill 阶段跑到约 255 tok/s。我会先打个折:这是单用户自报数据,没有第三方复现,也没披露并发、上下文长度和 decode 阶段的吞吐,所以别直接当采购依据。但亮点在于它证明了老卡在量化+定制内核下还能打,对预算有限的团队是个有参考价值的思路。正文没提功耗和稳定性,这两点在实际部署里很关键。

r/LocalLLaMA

英伟达放出 Nemotron-Labs-Diffusion 模型,用扩散解码把 8B 模型跑到 850 tok/s

英伟达发了 Nemotron-Labs-Diffusion 系列,包含 3B、8B 和 14B 三个稠密模型。这组模型同时支持传统的自回归解码和新的扩散并行解码,还带了一种叫 self-speculation 的加速技巧。最抓眼球的是 8B 版本在 GB200 上单并发能跑到每秒 850 个 token,作为对比,同样条件下自回归解码是 253 tok...

推荐理由:NVIDIA 这次没走自回归老路,拿扩散模型做了三个稠密 LLM,最小的 3B,最大的 14B。我会先打个折:目前只有 Reddit 帖子当信源,没有论文或技术报告,所以 850 tok/s 这个数先别太激动,正文没披露具体测试条件和 batch size。但方向本身有意思——扩散并行解码加上 self-speculation,理论上可以一次出多个 token,不用像自回归那样一个字一个字往外蹦,推理延迟能压下去。8B 模型在 GB200 上跑出这个速度,如果属实,对本地跑模型、做实时对话的人挺省钱。信息缺口也明显:没提训练数据、没提多语言能力、没...

AI HOT 精选

NVIDIA 开源 LongLive 2.0,用 4-bit 量化把长视频生成跑进实时

NVIDIA 把 LongLive 2.0 整套训练和推理代码都放出来了,主打 FP4 量化加并行加速,在 50 亿参数的模型上能跑到每秒 45.7 帧,比很多短视频方案还快。它支持真实视频训练、蒸馏、多镜头生成、序列并行、KV 缓存优化和异步解码部署,专门解决以前长视频生成要么慢到没法用、要么只能做几秒片段的毛病。正文没披露具体显存占用和最长能生成多...

推荐理由:NVIDIA 研究员把 LongLive 2.0 完整开源了,不是只放个模型权重,而是给了训练加推理的全套工具。核心是把视频生成模型压到 4-bit 精度,在 50 亿参数规模下能跑到每秒 45.7 帧,这个速度意味着单卡就能玩长视频生成,不用堆机器。我会先打个折:论文里没看到跟 8-bit 或全精度方案的画质对比,所以省显存是实锤,画质掉多少还不清楚。但作为第一个把 4-bit 量化铺到长视频训练推理全流程的开源项目,对想低成本跑视频生成的人来说,值得立刻翻代码。

5月19日星期二

彭博科技

Recursive AI 走出隐身模式,估值冲到 46.5 亿美元

这家公司做的是让 AI 在安全约束下自己跑实验、自己迭代。投资方名单里有 Google Ventures、Greycroft、Nvidia 和 AMD Ventures。不过正文只放了彭博视频页的框架,没给出具体产品形态、团队规模或技术细节,估值依据和实际落地效果都还看不到。

推荐理由:Bloomberg 爆出 Recursive 以 46.5 亿美元估值浮出水面,投资方包括 Google Ventures、Nvidia 和 AMD Ventures,主打“可实验的安全自我改进”。这个估值数字本身就说明资本在押注自我改进这条路线,但正文没披露任何模型能力、实验数据或具体产品路径,所以我会先打个折——估值高不等于技术落地。安全自我改进的说法听起来很对,但没看到怎么验证“安全”,这点先别太激动。

彭博科技

黄仁勋押注中国会重新对美国 AI 芯片开门,但没给时间表

英伟达 CEO 黄仁勋在跟特朗普一起参加完中国峰会后放话,说中国最终会允许进口美国 AI 芯片。这话听着更像是一种表态而非承诺——正文没披露任何具体时间点,也没说依据是什么。考虑到现在出口管制卡得很严,他这番话可能更多是在向市场喊话,别急着把英伟达的中国生意从账本上划掉。

推荐理由:H 和 R 都站得住:英伟达 CEO 公开预测中国会放开 AI 芯片进口,既有话题性又踩在地缘政治的关键点上。K 这边我会先打个折——文章没给出任何落地细节,时间、流程、型号全缺,只能算个人判断,够不上 actionable knowledge。整体放在 featured 档是合适的。

r/LocalLLaMA

llama.cpp 合并 MTP 投机解码,Qwen3.6 27B 在 Strix Halo 上跑到 2.44 倍速

llama.cpp 在 PR #22673 里正式合并了 MTP(多 token 预测)投机解码支持。实测 Qwen3.6 27B 用 Q8_0 量化,在 Strix Halo 上从 7.4 tok/s 提到 18.1 tok/s,速度翻了 2.44 倍;双 RTX 3090 的 Q8_0 方案也从 25.7 tok/s 涨到 55.9 tok/s,约...

推荐理由:HKR 三项都满足:llama.cpp 合入了 MTP 投机解码,用 Qwen3.6 27B 在 Strix Halo 和 RTX 3090 上跑出了实打实的加速数字。范围限定在本地推理优化,不是大模型发布,78 分放在 featured 合适。

AI HOT 精选

NVIDIA 用 LoRA/DoRA 微调 Cosmos Predict 2.5,让它能生成机器人第一视角视频

NVIDIA 发了一篇技术博客,教你怎么用 LoRA 和 DoRA 这两种轻量微调方法,去训练他们自家的 Cosmos Predict 2.5 视频模型。目标是让模型能根据文字指令,生成机器人看到的画面,比如机械臂在桌上抓东西。博客把训练数据准备、代码怎么改、训练命令都贴出来了,但没提用了多少数据、训练花了多少钱、也没给任何评测分数,所以效果到底怎么样...

推荐理由:我会先打个折:正文没给数据量、没给评测分数,所以没法判断效果到底多好。但这条信息本身挺实在——NVIDIA 把 Cosmos Predict 2.5 拿出来,用 LoRA 和 DoRA 两种轻量微调方法,教模型按文字指令生成机器人第一视角视频。LoRA 是只动一小部分参数来省钱省算力,DoRA 在 LoRA 基础上把权重拆成方向和大小分开调,理论上更稳。对做具身智能的人来说,这等于多了一条低成本造训练视频的路子,不用全量微调大模型也能试。不过正文没写用了多少条视频、什么机器人平台、生成质量怎么衡量,这些缺口让实用性打折扣。整体看,技术路线清楚、痛点...

5月17日星期日

量子位 · 公众号

一只机器狗,把英伟达的算力王座拱翻了

蔚蓝科技发了款消费级机器狗 BabyAlpha A3,用六颗芯片搭了个异构计算集群,直接在本地跑 7B 参数的大模型,推理速度到 280 TPS。视觉上配了 6600 万像素的摄像头,每秒能扫出 223.2 万个点云数据点,计划第三季度上市。不过正文因为环境验证没抓到具体内容,上面这些数字都来自外部摘要,实际表现和定价还没法核实。

推荐理由:我会先打个折:正文是单篇产品发布稿,没披露功耗、价格和对比基准,所以别太激动。但这条消息确实有料——蔚蓝科技在机器狗里塞了6颗芯片搭异构集群,本地跑70亿参数模型,推理速度标到280TPS,Q3就要上市。对做端侧部署和机器人的人来说,这等于给“离了英伟达行不行”提供了一个实物样本。信息缺口也很明显:没写具体芯片型号、没给功耗数据、没说明280TPS是在什么精度和batch size下测的,这些都会影响实际可用性。综合来看,角度抓人、事实具体、但验证信息不足,放在featured门槛上刚好。

机器之心 · 公众号

世界模型的两条路线和一场百亿赌局

这篇文章是机器之心编译自 MoE Capital 的一篇博客,梳理了“世界模型”这个概念的两条发展脉络。一条是 AI 学术圈常说的,让模型在脑子里推演环境变化、做规划;另一条来自游戏和影视工业,追求用模型直接生成逼真的 3D 世界。文章提到,过去一年半里,有超过 100 亿美元的资金涌入了这个方向。里面举了一个具体例子:DreamDojo 这个项目用 ...

推荐理由:这篇是编译的科普+评论,不是一手发布,但把世界模型两条路线讲得清楚,还给了百亿美元和44711小时视频这些具体数字。我会先打个折,因为信息密度集中在解释概念,新事实不多。不过对想快速理解世界模型热度和技术现状的人来说,读这一篇比翻论文省时间。

r/LocalLLaMA

同批模型在 Strix Halo、RTX 3090 和 RTX 5070 上的实测对比

一位用户自己跑了 55 组本地推理测试,覆盖 Strix Halo、RTX 3090 和 RTX 5070 三块卡、五种推理后端,模型从 0.35B 小不点到 35B-A3B 混合专家都有。结论很直接:能塞进 12GB 显存的模型,RTX 5070 比 RTX 3090 快;但到了 14B 到 31B 这个区间,模型超过 12GB 又刚好能装进 24G...

推荐理由:这篇值得看,因为作者没抄官方数据,自己跑了 55 组对比。我会先打个折:来源是 Reddit 单人帖,不是严格受控实验,但结论很实用。12GB 显存以内 RTX 5070 解码比 3090 快,14B 到 31B 模型区间 3090 反超,说明大模型推理 3090 的大显存优势还在。Strix Halo 的加入让 AMD 方案也有了参照。正文没披露功耗和价格,所以别直接当购买建议,但作为选卡参考够直接。

Dwarkesh Patel 播客

预训练并行策略与翻车训练笔记

这篇笔记聊了两件事:预训练为什么容易跑崩,以及怎么把训练拆到多张 GPU 上。跑崩的核心原因有两个——破坏因果性和引入偏差。比如 MoE 路由里用专家选择(expert choice)分配 token,会让 token n 的去向依赖 token n+k 的路由结果,训练时看到了推理时看不到的信息;token 丢弃也会让后面的 token 影响前面的处...

推荐理由:Dwarkesh 这期笔记把预训练里容易翻车的地方摊开讲:expert choice 和 token dropping 会破坏因果性,FP16 集体通信能把一万次累加算偏,这些坑不踩过很难意识到。我会先打个折——它更像从业者之间的经验交换,不是系统性的技术报告,但给的数字(6ND、288GB、参数量×3)对算成本和排故障都有用。正文没展开具体实验验证,所以别当定量结论用。

5月16日星期六

Hacker News 首页

SANA-WM:一个 26 亿参数的开源世界模型,能根据单张图片和镜头轨迹生成 1 分钟 720p 可控视频

NVIDIA 放出了一个叫 SANA-WM 的开源模型,参数规模 26 亿,主打的是用一张图加一条镜头移动路线,直接生成长达一分钟的 720p 视频。它把长视频生成拆成两步:先用一个混合线性注意力的主干网络跑出长序列粗稿,再用一个 170 亿参数的精修模型去改善纹理、动作和后半段的画质。训练成本不算高,64 块 H100 跑 15 天,用了约 21.3...

推荐理由:标题说 SANA-WM 是个 2.6B 参数的开源世界模型,能生成 1 分钟 720p 视频。我会先打个折:正文只给了链接、9 分和 8 条评论,训练数据、许可证、推理成本、跟其他模型的对比跑分全都没披露。2.6B 这个尺寸在视频模型里算小的,如果真能稳定跑一分钟不崩,推理成本可能比较友好,但这点先别太激动,因为没看到任何实测证据。开源是个加分项,不过没写是什么许可证,商用能不能用还不清楚。整体看,这是个有话题度的发布,但信息缺口很大,实际能力得等更多细节出来才能判断。

AI HOT 精选

黄仁勋对 CMU 计算机毕业生说:电工水管工比你们更有前景

黄仁勋在卡内基梅隆大学 2026 届计算机科学毕业典礼上直接说,技工的前景比计算机毕业生好。Randstad 的数据显示技工需求增速是白领的三倍,机器人技术员岗位涨了 107%,而斯坦福研究发现 AI 相关职位的早期就业反而降了 16%。顶级电工年薪能超过 10.6 万美元,还不用背学费贷款。另一边,科技公司今年砸了 7000 亿美元建数据中心,全球到...

推荐理由:黄仁勋在毕业典礼上劝 CS 学生考虑技工,这话本身就够抓眼球。Randstad 给了两个数字:技工需求增速是白领 3 倍,机器人技术员岗位涨 107%,说明动手修机器、调设备的人越来越抢手。对做 AI 的人来说,这等于在问:写代码和管机器人,哪个饭碗更稳。不过这只是 X 上的评论,不是产品发布或政策变动,所以放在低 featured 就够了。

彭博科技

Cerebras 上市首日涨了约 68%,公司市值冲到 670 亿美元左右,CEO 身家 32 亿美元

Cerebras Systems 在纳斯达克上市,是今年规模最大的 IPO。股价当天涨了约 68%,把公司市值推到了大约 670 亿美元。按这个市值算,CEO 手里的股份值 32 亿美元。这条是视频新闻,正文没披露具体的发行价、募资金额和公司营收数据,所以没法判断这个估值到底贵不贵。

推荐理由:Cerebras 这次 IPO 给 AI 算力生意标了个公开市场价:首日涨 68%,市值冲到约 670 亿美元。Bloomberg 这条是财富视角的短视频,不是技术深稿,所以信息量就这么多——正文没披露营收、毛利率或客户集中度,估值逻辑没法细拆。我会先打个折:数字好看,但别急着把它当成行业转折点。

5月15日星期五

r/LocalLLaMA

用 Jetson Orin NX SUPER 16GB 做了个完全离线的行李箱机器人,跑 Gemma 4 E4B,没联网也能聊

一个叫 Sparky 的行李箱机器人,核心是一块 Jetson Orin NX SUPER 16GB 的板子,跑的是 Gemma 4 E4B 模型(Q4_K_M 量化版,用 q8_0 做 KV 缓存)。首次响应延迟大概 200 毫秒,生成速度每秒 14 到 15 个 token,上下文窗口 12K。身上挂了 30 多个传感器,但没装 WiFi、蓝牙和蜂...

推荐理由:这是个 Reddit 上的个人项目帖,不是产品发布或论文,所以放在低 featured 档。我会先打个折:200ms 的缓存首 token 延迟和 14-15 tok/s 的生成速度,在 Jetson 上跑 4B 模型算是能用的水平,但别指望它反应飞快。30+ 传感器听起来唬人,正文没细说都是什么传感器、怎么融合的,这点先别太激动。真正有意思的是全离线跑 Gemma 4 E4B 还让机器人带“观点”,把本地推理做成了人格化交互,比单纯报参数好玩。

r/LocalLLaMA

网友追踪欧盟 15 家店 50 多天显卡价格:只有 RTX 5090 没降价,还涨了 3%

Reddit 用户 egudegi 用脚本每 6 小时抓一次欧盟 15 家店的显卡价格,攒了约 12.6 万条数据。结果显示 RTX 5090 均价从 3392 欧元涨到 3487 欧元,涨了 3%,是唯一没降价的型号。帖子正文被 Reddit 安全策略拦截,看不到更细的型号对比和店铺来源,所以没法判断涨价是普遍缺货还是个别渠道在抬价。

推荐理由:这篇是一个Reddit用户自己爬了15家欧盟商店50多天的GPU价格,总共抓了约12.6万条记录,然后发现RTX 5090是唯一没降价的卡,均价还从3392欧元涨到了3487欧元,涨了3%。我会先打个折:数据源是个人帖子,不是机构报告,样本也只覆盖欧盟线上标价,不代表实际成交价或全球行情。但它的好处是给了很具体的数字和时间跨度,不是随口说“感觉涨价了”。对想买卡跑本地模型的人来说,这个信号挺直接——5090不仅贵,还在变贵,其他卡在跌,说明供需关系确实不一样。这点先别太激动,正文没披露每家店的库存和销量,价格涨可能是货少,也可能是需求硬,没法下结论...

r/LocalLLaMA

RTX 5000 PRO 48GB 实跑测试:27B 模型跑到 80 tok/s,200k 上下文全精度缓存

一位完全没装过机的 Reddit 用户花了 5600 美元攒了一台 RTX 5000 PRO 48GB 的机器,单卡跑 Qwen3.6-27B-FP8 模型。他自己说装机全靠问 LLM,配 vLLM 时烧掉了 Claude Code 一半的周额度才搞定。实测下来,生成速度最高能到每秒 80 个 token,提示很长时掉到 50–60 tok/s,但提示...

推荐理由:这篇来自 Reddit 的个人装机实测,把价格和跑分都摆出来了,对想自己攒机跑大模型的人参考价值很高。我会先打个折:只有单卡、单模型、单人测试,没对比其他卡,也没提散热和长期稳定性,所以不能直接当采购指南。但 48GB 显存能跑 27B 模型还这么快,确实让人对本地推理的成本和体验更有信心。