跳到正文

NVIDIA 英伟达

英伟达的 AI 芯片与生态动态:GPU 新品、CUDA 生态、机器人平台与 AI 算力市场的风向。

362 条精选相关主题部署工程行业动态具身智能

最新精选

第 281–300 条 · 共 362 条

5月19日星期二

r/LocalLLaMA

llama.cpp 合并 MTP 投机解码,Qwen3.6 27B 在 Strix Halo 上跑到 2.44 倍速

llama.cpp 在 PR #22673 里正式合并了 MTP(多 token 预测)投机解码支持。实测 Qwen3.6 27B 用 Q8_0 量化,在 Strix Halo 上从 7.4 tok/s 提到 18.1 tok/s,速度翻了 2.44 倍。

推荐理由:llama.cpp 合并 MTP 投机解码后,Qwen3.6 27B 在 Strix Halo 上实测从 7.4 tok/s 提升到 18.1 tok/s,本地推理的加速幅度有了具体参照。

AI HOT 精选

NVIDIA 用 LoRA/DoRA 微调 Cosmos Predict 2.5,让它能生成机器人第一视角视频

NVIDIA 发了一篇技术博客,教你怎么用 LoRA 和 DoRA 这两种轻量微调方法,去训练他们自家的 Cosmos Predict 2.5 视频模型。目标是让模型能根据文字指令,生成机器人看到的画面,比如机械臂在桌上抓东西。

推荐理由:NVIDIA 在技术博客中演示用 LoRA 和 DoRA 轻量微调 Cosmos Predict 2.5,让模型按文字指令生成机械臂抓取等机器人第一视角画面,为具身智能提供一条低成本造训练视频的路径。

5月17日星期日

量子位 · 公众号

一只机器狗,把英伟达的算力王座拱翻了

蔚蓝科技发了款消费级机器狗 BabyAlpha A3,用六颗芯片搭了个异构计算集群,直接在本地跑 7B 参数的大模型,推理速度到 280 TPS。视觉上配了 6600 万像素的摄像头,每秒能扫出 223.2 万个点云数据点,计划第三季度上市。不过正文因为环境验证没抓到具体内容,上面这些数字都来自外部摘要,实际表现和定价还没法核实。

推荐理由:蔚蓝科技在消费级机器狗上以六颗芯片组成异构集群本地运行70亿参数模型,推理速度标称280 TPS,为端侧算力方案提供了一个具体样本。

机器之心 · 公众号

世界模型的两条路线和一场百亿赌局

这篇文章是机器之心编译自 MoE Capital 的一篇博客,梳理了“世界模型”这个概念的两条发展脉络。一条是 AI 学术圈常说的,让模型在脑子里推演环境变化、做规划;另一条来自游戏和影视工业,追求用模型直接生成逼真的 3D 世界。文章提到,过去一年半里,有超过 100 亿美元的资金涌入了这个方向。

推荐理由:机器之心编译的这篇博客梳理了世界模型的两条路线,一条来自 AI 学术圈的规划推演,一条来自游戏影视的 3D 世界生成,并提到一年半内超 100 亿美元资金涌入。

r/LocalLLaMA

同批模型在 Strix Halo、RTX 3090 和 RTX 5070 上的实测对比

一位用户自己跑了 55 组本地推理测试,覆盖 Strix Halo、RTX 3090 和 RTX 5070 三块卡、五种推理后端,模型从 0.35B 小不点到 35B-A3B 混合专家都有。结论很直接:能塞进 12GB 显存的模型,RTX 5070 比 RTX 3090 快。

推荐理由:一位用户自跑 55 组本地推理测试,覆盖三块显卡与五种后端,给出 12GB 显存内 RTX 5070 解码快于 RTX 3090 的实测对比。

Dwarkesh Patel 播客

预训练并行策略与翻车训练笔记

这篇笔记聊了两件事:预训练为什么容易跑崩,以及怎么把训练拆到多张 GPU 上。跑崩的核心原因有两个——破坏因果性和引入偏差。比如 MoE 路由里用专家选择(expert choice)分配 token,会让 token n 的去向依赖 token n+k 的路由结果,训练时看到了推理时看不到的信息。

推荐理由:作者拆解了预训练跑崩的两个原因,并解释 MoE 路由中专家选择为何让 token 的去向依赖后续路由结果,训练时看到推理时拿不到的信息。

5月16日星期六

Hacker News 首页

SANA-WM:一个 26 亿参数的开源世界模型,能根据单张图片和镜头轨迹生成 1 分钟 720p 可控视频

NVIDIA 放出了一个叫 SANA-WM 的开源模型,参数规模 26 亿,主打的是用一张图加一条镜头移动路线,直接生成长达一分钟的 720p 视频。它把长视频生成拆成两步:先用一个混合线性注意力的主干网络跑出长序列粗稿,再用一个 170 亿参数的精修模型去改善纹理、动作和后半段的画质。

推荐理由:NVIDIA 开源 26 亿参数的 SANA-WM,用单张图片加镜头轨迹生成一分钟 720p 视频,其两阶段生成流程展示了长视频画质与动作一致性的处理思路。

AI HOT 精选

黄仁勋对 CMU 计算机毕业生说:电工水管工比你们更有前景

黄仁勋在卡内基梅隆大学 2026 届计算机科学毕业典礼上直接说,技工的前景比计算机毕业生好。Randstad 的数据显示技工需求增速是白领的三倍,机器人技术员岗位涨了 107%,而斯坦福研究发现 AI 相关职位的早期就业反而降了 16%。顶级电工年薪能超过 10.6 万美元,还不用背学费贷款。

推荐理由:黄仁勋在卡内基梅隆大学计算机毕业典礼上称技工前景优于计算机毕业生,材料同时给出技工需求增速是白领三倍、机器人技术员岗位涨 107% 的对比数据。

彭博科技

Cerebras 上市首日涨了约 68%,公司市值冲到 670 亿美元左右,CEO 身家 32 亿美元

Cerebras Systems 在纳斯达克上市,是今年规模最大的 IPO。股价当天涨了约 68%,把公司市值推到了大约 670 亿美元。按这个市值算,CEO 手里的股份值 32 亿美元。这条是视频新闻,正文没披露具体的发行价、募资金额和公司营收数据,所以没法判断这个估值到底贵不贵。

推荐理由:Cerebras 在纳斯达克上市,首日股价涨约 68%,市值达到约 670 亿美元,为观察 AI 算力公司在公开市场的定价提供了一个具体参照。

5月15日星期五

r/LocalLLaMA

用 Jetson Orin NX SUPER 16GB 做了个完全离线的行李箱机器人,跑 Gemma 4 E4B,没联网也能聊

一个叫 Sparky 的行李箱机器人,核心是一块 Jetson Orin NX SUPER 16GB 的板子,跑的是 Gemma 4 E4B 模型(Q4_K_M 量化版,用 q8_0 做 KV 缓存)。首次响应延迟大概 200 毫秒,生成速度每秒 14 到 15 个 token,上下文窗口 12K。

推荐理由:个人开发者用 Jetson Orin NX SUPER 16GB 在行李箱上离线跑 Gemma 4 E4B,缓存首字延迟约 200 毫秒、生成每秒 14 到 15 个 token,是单板本地推理的一份实测记录。

r/LocalLLaMA

网友追踪欧盟 15 家店 50 多天显卡价格:只有 RTX 5090 没降价,还涨了 3%

Reddit 用户 egudegi 用脚本每 6 小时抓一次欧盟 15 家店的显卡价格,攒了约 12.6 万条数据。结果显示 RTX 5090 均价从 3392 欧元涨到 3487 欧元,涨了 3%,是唯一没降价的型号。帖子正文被 Reddit 安全策略拦截,看不到更细的型号对比和店铺来源,所以没法判断涨价是普遍缺货还是个别渠道在抬价。

推荐理由:Reddit 用户用脚本追踪欧盟 15 家店 50 多天显卡价格,约 12.6 万条数据中 RTX 5090 均价从 3392 欧元涨到 3487 欧元,其余型号同期都在降价。

r/LocalLLaMA

RTX 5000 PRO 48GB 实跑测试:27B 模型跑到 80 tok/s,200k 上下文全精度缓存

一位完全没装过机的 Reddit 用户花了 5600 美元攒了一台 RTX 5000 PRO 48GB 的机器,单卡跑 Qwen3.6-27B-FP8 模型。他自己说装机全靠问 LLM,配 vLLM 时烧掉了 Claude Code 一半的周额度才搞定。

推荐理由:一位零装机经验的用户用5600美元攒出单卡RTX 5000 PRO 48GB机器,跑27B模型达到80 tok/s并支持200k上下文全精度缓存,展示了本地推理的可行配置。

5月14日星期四

r/LocalLLaMA

双卡 RTX 3090 跑 Qwen 3.6 27B:48G 显存、26 万上下文窗口,生成速度 113 token/秒

一位 Reddit 用户用两张 RTX 3090 在 Ubuntu 上跑 Qwen 3.6 27B 模型,没上 NVLink。处理长文本时每秒能啃 4000 个 token,生成回答的速度是每秒 113 个 token。这个速度日常聊天或做文档处理都够用。

推荐理由:一位 Reddit 用户用两张 RTX 3090 在 Ubuntu 上跑 Qwen 3.6 27B,48G 显存撑起 26 万上下文,生成速度每秒 113 token,给出了消费级双卡本地部署长上下文模型的一套具体配置。

彭博科技

Anthropic 被曝寻求超 9000 亿美元估值,至少再融 300 亿

彭博社 5 月 13 日的节目里提到,Anthropic 正在寻求至少 300 亿美元的新融资,对应的估值超过 9000 亿美元。这个数字很吓人,但报道没披露具体投资人、交易条款和时间表,所以先别太激动,正文也没说这轮融资到了什么阶段、钱打算怎么花。

推荐理由:Anthropic 被曝寻求至少 300 亿美元新融资,对应估值超过 9000 亿美元,这一规模可与头部实验室当前的资金需求作横向参照。

5月13日星期三

纽约时报中文网

黄仁勋没在首批名单上,特朗普看到报道后亲自打电话把他拉上了访华专机

白宫周一公布的16人CEO随行名单里没有黄仁勋,这件事在硅谷和华盛顿都引起了议论。特朗普周二上午直接打电话邀请,黄仁勋当晚在阿拉斯加登上了空军一号。他掌管的英伟达是全球市值最高的公司,过去一年一直在游说中美双方,想拿到向中国卖AI芯片的许可。去年夏天特朗普批准卖上一代芯片,但中国政府至今没批任何采购,美国政府内部也有人以国家安全为由反对卖更先进的芯片。

推荐理由:白宫公布16人CEO名单时没有黄仁勋,特朗普次日亲自致电补邀,他当晚在阿拉斯加登上空军一号。英伟达过去一年持续游说中美双方争取AI芯片对华销售许可,此行背景由此展开。

纽约时报中文网

DeepSeek 新模型首次用华为芯片跑推理,训练还得靠英伟达

DeepSeek 上个月发新模型,头一回说推理环节跑在了华为芯片上,但两位半导体业人士透露,训练阶段仍然依赖英伟达芯片,具体怎么拿到的没细说。华为计划今年出训练芯片,同时承认性能追上英伟达现有水平还要再等一年。这件事让中国在 AI 硬件上跟美国进一步脱钩,也印证了黄仁勋之前的警告:出口管制反而逼着中国自建一套技术栈。

推荐理由:DeepSeek 新模型推理环节跑在华为芯片上,训练仍依赖英伟达,华为训练芯片要等一年才能追平,这条把中国 AI 硬件脱钩的现状和卡点摆了出来。

5月11日星期一

量子位 · 公众号

OpenAI 签下 750 兆瓦算力大单,芯片公司 Cerebras 趁势把 IPO 估值抬到 350 亿美元

Cerebras 把 IPO 发行价区间上调到每股 150 到 160 美元,按上限算估值约 350 亿美元。直接推手是 OpenAI 刚签了一份 750 兆瓦的 AI 算力采购协议,交付排到 2028 年。不过原文因为微信环境验证拦截,正文内容没抓到,具体合同金额、交付节奏和 Cerebras 的财务数据都没披露,这个估值能撑多久还得看后续招股书细节。

推荐理由:OpenAI 与 Cerebras 签下 750 兆瓦算力采购协议后,后者把 IPO 发行价区间上调至每股 150 到 160 美元,按上限对应约 350 亿美元估值,交付排到 2028 年。

5月10日星期日

r/LocalLLaMA

NVIDIA 发布 Star Elastic:一个模型文件能直接切出 30B、23B、12B 三种推理模型

NVIDIA 放出了一个叫 Star Elastic 的模型,一个检查点文件里包含了 30B、23B 和 12B 三个尺寸的推理模型,不用额外训练就能直接“切片”取用。具体玩法是让 23B 的子模型负责思考过程,30B 的模型负责给出最终答案。

推荐理由:NVIDIA 发布的 Star Elastic 让单个检查点无需额外训练即可切出 30B、23B、12B 三种推理模型,其中 23B 负责思考、30B 负责作答,为推理部署提供了一份权重按需取用的思路。

5月9日星期六

TechCrunch · AI

英伟达今年已承诺 400 亿美元做 AI 股权投资

英伟达继续在 AI 圈大笔撒钱。根据 CNBC 和 FactSet 的数据,2026 年才过了几个月,它已经承诺了超过 400 亿美元的股权投资。最大一笔是给 OpenAI 的 300 亿,剩下的分布在七笔对上市公司的数十亿美元级投资,以及大约二十多轮对未上市初创公司的参投里。

推荐理由:英伟达今年已承诺超400亿美元AI股权投资,其中300亿投向OpenAI,其余分布在七笔上市公司投资和约二十多轮初创参投,资金集中流向少数头部标的。

新智元 · 公众号

英伟达、AMD、英特尔罕见联手,给 RadixArk 投了 1 亿美元种子轮

RadixArk 在 5 月 5 号宣布拿了 1 亿美元种子轮,投后估值 4 亿美元。领投的是 Accel,Spark Capital 跟投,更少见的是英伟达、AMD、英特尔这三家芯片厂同时出现在投资人名单里,联发科和 Databricks 也参与了。

推荐理由:RadixArk 以 4 亿美元投后估值完成 1 亿美元种子轮,英伟达、AMD、英特尔三家芯片厂同时出现在投资人名单里,这一组合在 AI 基础设施融资中并不常见。