跳到正文

NVIDIA 英伟达

英伟达的 AI 芯片与生态动态:GPU 新品、CUDA 生态、机器人平台与 AI 算力市场的风向。

362 条精选相关主题部署工程行业动态具身智能

最新精选

第 321–340 条 · 共 362 条

4月29日星期三

r/LocalLLaMA

双卡 RTX 5060 Ti 16GB 跑通 Qwen3.6 27B,vLLM 下跑到约 60 tok/s,支持 204K 上下文

一位用户用两张 RTX 5060 Ti 16GB 显卡,通过 vLLM 部署了 Qwen3.6 27B 模型。实测在 8K 上下文时生成速度约 62–66 tok/s,两张卡共占用 32GB 显存。配置上开了张量并行(TP=2)、fp8 KV 缓存、多 token 预测(MTP 一次猜 3 个 token),并把上下文窗口拉到了 204800。

推荐理由:一位用户用两张 RTX 5060 Ti 16GB 通过 vLLM 部署 Qwen3.6 27B,实测 8K 上下文生成约 62–66 tok/s,并列出张量并行、fp8 KV 缓存与 MTP 等具体配置。

NVIDIA 博客

英伟达发布 Nemotron 3 Nano Omni:一个模型同时看懂图文、听懂语音,做 AI 代理时吞吐量号称是同类 9 倍

英伟达在 2026 年 4 月 28 日开源了 Nemotron 3 Nano Omni,一个能同时处理文字、图片、音频、视频、文档、图表和屏幕界面的多模态模型。它用了 30B-A3B 的混合专家架构(MoE),实际激活的参数量是 3B,配合 Conv3D 和 EVS 技术来处理音视频,上下文窗口拉到 256K。

推荐理由:英伟达开源 Nemotron 3 Nano Omni,一个模型同时处理图文音视频,激活参数 3B、上下文 256K,为想搭多模态 agent 的团队提供了一条开源路径。

4月27日星期一

彭博科技

红杉和英伟达投了前 DeepMind 研究员的新公司,估值 51 亿美元

David Silver 创立的 Ineffable Intelligence 拿了 11 亿美元融资,投后估值 51 亿美元,红杉和英伟达都参投了。正文没披露具体做什么产品、模型参数和发布时间,目前只能看到一笔大额融资和豪华投资方名单。这点先别太激动,产品没出来之前,估值更多反映的是团队背景和资源背书。

推荐理由:前 DeepMind 研究员 David Silver 创立的新公司获 11 亿美元融资,红杉与英伟达参投,投后估值 51 亿美元,这笔交易体现资本对顶尖研究团队背景的定价方式。

Hacker News 首页

Utilyze 开源 GPU 监控工具,说比 nvtop 更准,能看出显卡是真忙还是在摸鱼

Systalyze 开源了一个叫 Utilyze 的 GPU 监控工具,专门解决 nvidia-smi 和 nvtop 那个老毛病:它们只告诉你显卡“有没有在干活”,不告诉你“干得有多满”。比如 H100 有 132 个流式多处理器、一万七千多个核,但只要有一个核在跑,利用率就敢报 100%,实际算力可能才用了 1%。

推荐理由:Utilyze 针对 nvidia-smi 和 nvtop 只报二值占用的老问题,改用有效计算效率衡量 GPU 负载,H100 单核运行即报 100% 的场景由此有了更贴近真实算力的读数。

Hacker News 首页

现在用 AI 可能比雇人还贵

Axios 报道,一些公司的 AI 算力开销已经超过了员工工资。英伟达高管 Bryan Catanzaro 说,他团队的算力成本远高于人力成本;Uber 的 CTO 则因为 token 消耗太快,已经花光了 2026 全年的 AI 预算。Gartner 预测今年全球 IT 支出会涨到 6.31 万亿美元,主要就是被 AI 基建、软件和云服务推高的。

推荐理由:英伟达高管称团队算力成本远超人力,Uber 的 CTO 因 token 消耗过快花光 2026 全年 AI 预算,AI 账单超过工资单的迹象已在具体公司出现。

量子位 · 公众号

斯坦福等团队搞了个“用大模型当验证器”的方法,在 Terminal-Bench 2.0 上跑分超过 Claude Mythos 和 GPT-5.5

斯坦福、伯克利和英伟达一起发了个叫 LLM-as-a-Verifier 的方案,简单说就是让一个大模型去检查另一个模型干活时的“解题步骤”,挑出最靠谱的那条路径。他们用了三招:打分细到 token 级别、同一件事反复查、把评判标准拆开看,最后在 Terminal-Bench 2.0 和 SWE-Bench Verified 两个榜单上都拿了第一。

推荐理由:斯坦福、伯克利和英伟达联合提出 LLM-as-a-Verifier,让大模型逐步检查另一模型的解题路径,在 Terminal-Bench 2.0 与 SWE-Bench Verified 两个榜单上登顶。

4月25日星期六

Latent Space

DeepSeek 发布 V4 Pro 和 Flash 模型,能在华为昇腾芯片上跑

DeepSeek 终于发了 V4 系列,一共两个型号:V4 Pro 总参数 1.6 万亿,每次激活 490 亿;V4 Flash 总参数 2840 亿,激活 130 亿。两个模型都支持 100 万 token 的上下文,用了新的压缩注意力技术,相比 V3.2,处理长文本时计算量只要 27%,显存占用只要 10%。

推荐理由:DeepSeek 发布 V4 Pro 与 V4 Flash,均支持 100 万 token 上下文,长文本计算量降至 V3.2 的 27%,并可在华为昇腾芯片上运行。

Computing Life · Share · 鸭哥调研

TPU 与 CUDA 的攻防战:Cloud Next 2026 之后的判断

Google 在 Cloud Next 2026 上放了三招:把第八代 TPU 拆成训练用的 8t 和推理用的 8i,8i 内存带宽比 8t 还高,专门对付长上下文推理;推出 TorchTPU,让 PyTorch 代码能直接在 TPU 上跑,不再需要以前那个问题一堆的桥接层;以及给 Anthropic 投了最多 400 亿美元并配 5GW 算力。

推荐理由:Google 在 Cloud Next 2026 上把第八代 TPU 拆成训练用 8t 和推理用 8i,并推出 TorchTPU 让 PyTorch 代码直接运行,绕开了以往桥接层的迁移障碍。

4月22日星期三

TechCrunch · AI

Google 和 Thinking Machines Lab 签了笔几十亿美元的算力大单,用的是英伟达最新的 GB300 芯片

Mira Murati 创办的 Thinking Machines Lab 跟 Google Cloud 签了一份新的多年合同,金额在几十亿美元级别。这笔交易的核心是他们要用上英伟达目前最顶级的 GB300 芯片来做 AI 训练和推理。文章没披露具体合同年限、总算力规模、交付时间表,也没说这些算力具体要跑什么模型或业务。

推荐理由:Mira Murati 创办的 Thinking Machines Lab 与 Google Cloud 签下数十亿美元多年算力合同,采用英伟达 GB300 芯片做训练和推理,头部实验室的芯片采购动向由此多了一个样本。

量子位 · 公众号

商汤绝影把32B总参、3B激活的模型塞进车机,跑分压过GPT-5.4和Opus 4.6

商汤绝影发布了一个叫Sage的车载端侧多模态模型,总参数32B,但每次推理只激活3B参数。它在PinchBench上拿了94%,比Claude Opus 4.6的93.3%和GPT-5.4的90.5%都高。模型跑在Nvidia OrinX上,首字延迟约0.5秒,单token生成约0.03秒,吞吐80 tok/s。

推荐理由:商汤绝影发布车载端侧多模态模型Sage,32B总参数每次只激活3B,在PinchBench上以94%超过Claude Opus 4.6和GPT-5.4,并给出OrinX上的延迟与吞吐数据。

4月21日星期二

彭博科技

Google 要发新的 AI 推理芯片,直接跟英伟达抢生意

Bloomberg 这条视频提到 Google 准备推出一批专做推理的新 AI 芯片,正面挑战英伟达。不过正文被付费墙挡了,没披露具体发布时间、型号、性能参数、定价和客户。我会先打个折:目前能确认的信号是推理芯片的供给竞争在升温,但产品到底多能打、什么时候落地,都还是未知数。

推荐理由:Google 准备推出专做推理的新 AI 芯片,与英伟达在同一环节正面竞争,这条消息把推理芯片供给端的竞争态势摆了出来。

4月19日星期日

r/LocalLLaMA

Cloudflare 开源 Unweight:把大模型权重压缩 22%,输出结果一个字节都不差

Cloudflare 发了一个叫 Unweight 的压缩方案,专门解决大模型在 GPU 上跑时被显存带宽卡脖子的问题。它只压缩 BF16 格式里的指数位,不碰尾数,所以解压后能还原出完全一致的输出。实测一个 8B 模型能省下约 3GB 显存,压缩率在 15% 到 22% 之间。

推荐理由:Cloudflare 开源 Unweight,只压缩 BF16 权重里的指数位,解压后输出与原始模型完全一致,8B 模型可省约 3GB 显存。

量子位 · 公众号

高德发布全栈具身智能体系 ABot,号称在 15 项指标上拿了最优

高德这次公开的 ABot 是一套想让机器人真正干活的全栈技术体系,分视觉感知、物理世界模型和视觉语言动作模型几块。ABot-3DGS 能用厘米级地图数据重建上万平米的三维场景,ABot-PhysWorld 则是一个 140 亿参数的扩散模型,用 300 万条真实机械臂操作视频训练,让机器人先在大脑里模拟动作再执行。

推荐理由:高德公开全栈具身智能体系 ABot,其中 ABot-PhysWorld 用 300 万条真实机械臂操作视频训练 140 亿参数扩散模型,让机器人先模拟动作再执行。

4月17日星期五

Dwarkesh Patel 访谈

黄仁勋:美国应该继续卖芯片给中国,放弃 40% 的全球科技市场是帮倒忙

黄仁勋的核心逻辑是:中国占全球科技产业约 40%,如果美国主动退出这个市场,等于把开发者生态和模型优化方向拱手让给华为等中国硬件。他举了个例子——假如 DeepSeek 这类模型优先针对华为架构做优化,而不是跑在英伟达的 CUDA 生态上,那对美国技术栈的长期伤害比单次禁售大得多。

推荐理由:黄仁勋主张美国继续向中国销售芯片,理由是退出占全球科技产业约40%的市场会把开发者生态让给华为等中国硬件,并以DeepSeek适配华为架构为例说明生态流失的长期影响。

Hacker News 首页

AI 算力开始不够用了

Nvidia Blackwell GPU 的租赁价两个月内从每小时 2.75 美元涨到 4.08 美元,涨了 48%。CoreWeave 也把价格上调了 20%,最低租期从一年拉长到三年。OpenAI 的 CFO 说他们已经在砍项目,因为算力跟不上。Anthropic 最新的模型只给了大约 40 家机构用。

推荐理由:英伟达 Blackwell GPU 租赁价两个月涨了 48%,CoreWeave 提价两成并把最低租期拉到三年,OpenAI 已因算力不足砍项目,前沿模型的获取门槛正被成本抬高。

4月16日星期四

Dwarkesh Patel 访谈

黄仁勋回怼芯片禁令:别把 AI 芯片比作浓缩铀,放弃中国市场是输家心态

黄仁勋在这段视频里直接反驳了美国对华芯片出口限制的几个常见论点。他先质疑,为什么不能制定更平衡的规则,让英伟达在全球竞争,而不是主动放弃世界市场。接着他点名批评了 Dario 把卖 AI 芯片比作“波音给朝鲜核弹造导弹外壳”的说法,直言把 AI 比作浓缩铀是“糟糕且不合逻辑的类比”。

推荐理由:黄仁勋在视频中反驳美国对华芯片出口限制,并批评把 AI 芯片比作浓缩铀的类比,直接回应了出口管制的常见论点。

Dwarkesh Patel 访谈

黄仁勋谈英伟达护城河:不是芯片设计,是把电子变成 token 的那一整条供应链

黄仁勋把英伟达的生意概括成一句话:输入电子,输出 token,中间是英伟达。他认为护城河不在某颗芯片的设计,而在于把电子变成有价值的 token 这件事本身极其复杂,涉及大量科学和工程,短期内很难被商品化。

推荐理由:黄仁勋把英伟达的护城河归到把电子变成 token 的整条供应链上,涉及大量科学与工程,短期内难以被商品化,这条给出他对竞争壁垒所在环节的直接判断。

4月14日星期二

最佳拍档

H100 租赁价五个月涨近 40%,全球 GPU 算力全面断供

SemiAnalysis 的报告显示,从 2025 年 10 月到 2026 年 3 月,英伟达 H100 的一年期租赁价格从每小时每 GPU 1.70 美元涨到了 2.35 美元,涨幅接近 40%。现在想租一个 64 块 GPU 的小集群都很难,现货市场基本无货可租。

推荐理由:SemiAnalysis 报告显示 H100 一年期租赁价五个月从每小时 1.70 美元涨到 2.35 美元,64 块 GPU 的小集群现货已难租到,算力供需紧张落到具体价格上。

4月11日星期六

量子位 · 公众号

中国具身模型在 MolmoSpace 基准上拿了第一,同时开源了 10 万小时人类操作数据集

Psibot 说他们的 Psi-R2 模型在 AllenAI 的 MolmoSpace 基准上排到了第一,但正文没披露具体任务设置和完整对比基线,所以这个“第一”的含金量得先打个折。他们同时放出了一个 100,889 小时的操作数据集,其中 95,472 小时是人类数据,5,417 小时是机器人数据,目前只开源了 1,000 小时。

推荐理由:Psi-R2 在 AllenAI 的 MolmoSpace 基准上排到第一,同时放出 100,889 小时操作数据集,其中人类数据占 95,472 小时,目前开源 1,000 小时。

4月8日星期三

MIT Technology Review · AI

微软 AI 老大苏莱曼:AI 发展离撞墙还早,算力暴涨是核心

这是微软 AI 的 CEO 苏莱曼在《麻省理工科技评论》上发的评论文章,不是独立研究,立场上我会先打个折。他的核心论点是:AI 训练用的算力从 2010 年到现在涨了 1 万亿倍,从 10 的 14 次方次浮点运算涨到 10 的 26 次方,所以短期内不会撞墙。他给了几个具体数字:英伟达芯片六年里单颗性能翻了 7 倍多。

推荐理由:微软 AI 负责人苏莱曼在评论文章中给出算力从 10 的 14 次方涨到 10 的 26 次方、英伟达单颗芯片六年性能翻 7 倍等数字,支撑其 AI 短期不会撞墙的判断。