跳到正文

#部署/工程

今日 11 条

5月19日星期二

彭博科技

Google 和 Blackstone 要合资做 AI 云,用自家芯片跟 CoreWeave 抢生意

Google 和 Blackstone 打算成立一家新的 AI 云计算公司,专门用 Google 自己设计的芯片(也就是 TPU)来提供算力,目标是对标 CoreWeave 这类 GPU 云服务商。目前消息来自华尔街日报,Bloomberg 做了跟进。正文没披露这家新公司的股权结构、双方各投多少钱、具体什么时候上线,也没说会用哪一代 TPU。

推荐理由:Google 与 Blackstone 计划合资成立 AI 云公司,以自研 TPU 提供算力,对标 CoreWeave 这类 GPU 云服务商,可观察大厂自研芯片切入云算力市场的一种路径。

彭博科技

Meta 在路易斯安那州砸 2000 亿美元建数据中心,靠 10 座天然气电厂供电

Meta 在路易斯安那州 Richland Parish 搞了一个 AI 数据中心,钱不是自己全掏,而是通过一笔 2000 亿美元的私募融资来支撑。这个园区的总电力需求最高能到 7.5 吉瓦,其中 5 吉瓦专门给计算设备用。为了喂饱这些机器,他们计划新建 10 座天然气发电厂来供电。这个规模非常夸张,相当于把未来几年的算力扩张押注在化石能源上。

推荐理由:Meta 在路易斯安那州为 AI 数据中心安排 2000 亿美元私募融资,并计划新建 10 座天然气电厂满足最高 7.5 吉瓦用电,算力扩张与化石能源绑定的规模由此具体可见。

彭博科技

黄仁勋押注中国会重新对美国 AI 芯片开门,但没给时间表

英伟达 CEO 黄仁勋在跟特朗普一起参加完中国峰会后放话,说中国最终会允许进口美国 AI 芯片。这话听着更像是一种表态而非承诺——正文没披露任何具体时间点,也没说依据是什么。考虑到现在出口管制卡得很严,他这番话可能更多是在向市场喊话,别急着把英伟达的中国生意从账本上划掉。

推荐理由:英伟达 CEO 黄仁勋在随特朗普参加中国峰会后公开判断中国最终会放开美国 AI 芯片进口,但未给出时间点与依据,出口管制仍严的背景下这番表态牵动英伟达中国业务预期。

r/LocalLLaMA

llama.cpp 合并 MTP 投机解码,Qwen3.6 27B 在 Strix Halo 上跑到 2.44 倍速

llama.cpp 在 PR #22673 里正式合并了 MTP(多 token 预测)投机解码支持。实测 Qwen3.6 27B 用 Q8_0 量化,在 Strix Halo 上从 7.4 tok/s 提到 18.1 tok/s,速度翻了 2.44 倍。

推荐理由:llama.cpp 合并 MTP 投机解码后,Qwen3.6 27B 在 Strix Halo 上实测从 7.4 tok/s 提升到 18.1 tok/s,本地推理的加速幅度有了具体参照。

5月18日星期一

Import AI

AI界的震网病毒、有缺陷的Muon优化器,以及“正向对齐”

SentinelOne拆解了一个叫fast16.sys的老病毒,它专门篡改高精度计算软件在内存里的结果,可能被用来破坏核武器开发等工程模拟,在震网病毒出现前五年就已存在。Tilde Research发现流行的Muon优化器有个致命缺陷:训练初期会导致MLP层里超过四分之一的神经元永久“死亡”,再也救不回来。

推荐理由:SentinelOne拆解的fast16.sys在震网病毒出现前五年就篡改内存中的高精度计算结果,Tilde Research则发现Muon优化器会让MLP层超四分之一神经元在训练初期永久死亡。

r/LocalLLaMA

Qwen 3.6 27B 在 24G 显存上的部署实测:后端、量化方案与参数对比

作者用一张 RTX 3090 24GB 跑 Qwen 3.6 27B,最终留用了 ik_llama.cpp 搭配 Qwen3.6-27B-MTP-IQ4_KS.gguf 这个量化版本。

推荐理由:作者在单张 RTX 3090 24GB 上实测 Qwen 3.6 27B 的多种后端与量化方案,最终选用 ik_llama.cpp 搭配 IQ4_KS 量化,为本地部署的选型提供了一份单卡实测对比。

机器之心 · 公众号

华为 GTS 在 ICML 2026 发了一篇用推理熵值动态挑训练样本的方法,Amazon 和 Google 的作者也跟进了类似思路

这篇论文提出了一种叫 EDCO 的动态课程微调方法,核心是用模型推理时的“熵值”来判断样本难度,自动挑出当前模型最该学的数据,而不是靠人手动分阶段。他们搞了个前缀熵值估算,把每一条样本的评分时间从 2.24 秒压到了 0.37 秒,省了不少算力。

推荐理由:华为GTS提出EDCO动态课程微调方法,用推理熵值判断样本难度自动挑选训练数据,其前缀熵值估算把单样本评分时间从2.24秒降到0.37秒。

r/LocalLLaMA

vLLM 在混插 Blackwell/Ada 显卡集群上跑长上下文预填充,速度比 llama.cpp 快 4 到 6 倍

作者用 7 张混插显卡(RTX PRO 6000、PRO 5000、两张 5090 和三张改显存的 4090)测了三个推理引擎处理长上下文的效率。在 Qwen3.5-397B-A17B 模型上塞进 7.5 万 token 的上下文,vLLM 首 token 延迟 9.8 秒,预填充速度 7683 token/秒。

推荐理由:作者在 7 张混插 Blackwell 与 Ada 显卡上实测长上下文预填充,vLLM 处理 7.5 万 token 时首 token 延迟 9.8 秒、预填充速度 7683 token/秒,约为 llama.cpp 的 4 到 6 倍。

r/LocalLLaMA

骁龙 8 Elite 跑混合专家模型实测:CPU 推理反而比 NPU 快

一位 Reddit 用户用 24GB 内存的荣耀 Magic 7 Pro(骁龙 8 Elite)跑了几个混合专家(MoE)模型。在 Q4 量化下,LFM2-24b-a2b 跑到约 24 token/秒,Gemma 约 11 token/秒。

推荐理由:一位 Reddit 用户在 24GB 内存的荣耀 Magic 7 Pro 上实测骁龙 8 Elite 运行 MoE 模型,Q4 量化下 LFM2-24b-a2b 约 24 token/秒、Gemma 约 11 token/秒,CPU 推理快于 NPU。

5月17日星期日

量子位 · 公众号

一只机器狗,把英伟达的算力王座拱翻了

蔚蓝科技发了款消费级机器狗 BabyAlpha A3,用六颗芯片搭了个异构计算集群,直接在本地跑 7B 参数的大模型,推理速度到 280 TPS。视觉上配了 6600 万像素的摄像头,每秒能扫出 223.2 万个点云数据点,计划第三季度上市。不过正文因为环境验证没抓到具体内容,上面这些数字都来自外部摘要,实际表现和定价还没法核实。

推荐理由:蔚蓝科技在消费级机器狗上以六颗芯片组成异构集群本地运行70亿参数模型,推理速度标称280 TPS,为端侧算力方案提供了一个具体样本。

r/LocalLLaMA

同批模型在 Strix Halo、RTX 3090 和 RTX 5070 上的实测对比

一位用户自己跑了 55 组本地推理测试,覆盖 Strix Halo、RTX 3090 和 RTX 5070 三块卡、五种推理后端,模型从 0.35B 小不点到 35B-A3B 混合专家都有。结论很直接:能塞进 12GB 显存的模型,RTX 5070 比 RTX 3090 快。

推荐理由:一位用户自跑 55 组本地推理测试,覆盖三块显卡与五种后端,给出 12GB 显存内 RTX 5070 解码快于 RTX 3090 的实测对比。

Dwarkesh Patel 播客

预训练并行策略与翻车训练笔记

这篇笔记聊了两件事:预训练为什么容易跑崩,以及怎么把训练拆到多张 GPU 上。跑崩的核心原因有两个——破坏因果性和引入偏差。比如 MoE 路由里用专家选择(expert choice)分配 token,会让 token n 的去向依赖 token n+k 的路由结果,训练时看到了推理时看不到的信息。

推荐理由:作者拆解了预训练跑崩的两个原因,并解释 MoE 路由中专家选择为何让 token 的去向依赖后续路由结果,训练时看到推理时拿不到的信息。

5月16日星期六

Latent Space

Cerebras 上市市值冲到 600 亿美元,CFO 说已经在跑 OpenAI 的万亿参数内部模型

Cerebras 这次 IPO 收盘市值 600 亿美元,算是给坚持做大芯片的团队一个交代。CFO Bob Komin 公开说他们已经在服务万亿参数级别的模型,点名了 OpenAI 内部用的 5.4 和 5.5 版本,想打破“只适合小模型”的标签。

推荐理由:Cerebras 上市收盘市值 600 亿美元,CFO 公开表示公司已在服务万亿参数级模型,并点名 OpenAI 内部使用的 5.4 和 5.5 版本,为大芯片厂商承接前沿模型推理提供了新样本。

r/LocalLLaMA

Orthrus-Qwen3-8B:冻住 Qwen3-8B 主干,加一个扩散注意力头,一次前向最多吐出 7.8 倍的 token,输出分布数学上可证明不变

这个工作把 Qwen3-8B 的原始参数完全冻住,只额外训练一个扩散注意力头,让模型一次前向能生成多个 token,最高做到 7.8 倍。在 MATH-500 上实测 wall-clock 速度大约快了 6 倍。训练只动了 16% 的参数,用了不到 10 亿 token 的数据,在 8 张 H200 上跑了 24 小时。

推荐理由:研究团队冻结 Qwen3-8B 主干,仅训练一个扩散注意力头,在 MATH-500 上把单次前向的 token 吞吐提到最高 7.8 倍,墙钟时间约快 6 倍,输出分布保持不变。

彭博科技

Cerebras 上市首日涨了约 68%,公司市值冲到 670 亿美元左右,CEO 身家 32 亿美元

Cerebras Systems 在纳斯达克上市,是今年规模最大的 IPO。股价当天涨了约 68%,把公司市值推到了大约 670 亿美元。按这个市值算,CEO 手里的股份值 32 亿美元。这条是视频新闻,正文没披露具体的发行价、募资金额和公司营收数据,所以没法判断这个估值到底贵不贵。

推荐理由:Cerebras 在纳斯达克上市,首日股价涨约 68%,市值达到约 670 亿美元,为观察 AI 算力公司在公开市场的定价提供了一个具体参照。

5月15日星期五

r/LocalLLaMA

用 Jetson Orin NX SUPER 16GB 做了个完全离线的行李箱机器人,跑 Gemma 4 E4B,没联网也能聊

一个叫 Sparky 的行李箱机器人,核心是一块 Jetson Orin NX SUPER 16GB 的板子,跑的是 Gemma 4 E4B 模型(Q4_K_M 量化版,用 q8_0 做 KV 缓存)。首次响应延迟大概 200 毫秒,生成速度每秒 14 到 15 个 token,上下文窗口 12K。

推荐理由:个人开发者用 Jetson Orin NX SUPER 16GB 在行李箱上离线跑 Gemma 4 E4B,缓存首字延迟约 200 毫秒、生成每秒 14 到 15 个 token,是单板本地推理的一份实测记录。

AI HOT 精选

X 把“为你推荐”的算法开源了,用的还是 Grok 同款 Transformer

X 在 GitHub 上公开了“For You”信息流的推荐管道,代码、预训练模型和内容理解服务都给了。核心是一套叫 Phoenix 的 Transformer 模型,基于 Grok 架构,负责给候选帖子打分。它会看用户最近跟谁互动,同时预测点赞、回复、转发这些行为的概率,揉成一个相关性分数。

推荐理由:X 在 GitHub 公开了 For You 信息流的推荐管道,代码、预训练模型和内容理解服务一并给出,核心是基于 Grok 架构的 Phoenix 模型为候选帖子打分。

r/LocalLLaMA

实测外挂资料库客服机器人:最贵的模型表现最差,真正管用的是这几招

作者搭了一个客服用的外挂资料库(RAG)问答机器人,用模型当裁判打分,把质量分从 6.62 拉到了 7.88,同时单次会话成本从 $0.002420 砍到 $0.000509,降了将近八成。最反直觉的发现是:最贵的模型反而是表现最差的。

推荐理由:作者用模型当裁判调优客服 RAG 机器人,质量分从 6.62 升到 7.88,单次会话成本降近八成,最贵的模型反而表现最差。

r/LocalLLaMA

网友用百万级 token 实测 Qwen 3.6 35B MTP 版,速度比之前快了约一半

一位 Reddit 用户分三次跑了超过一百万 token 来测 Qwen3.6-35B-A3B 的多 token 预测(MTP)版本,上下文拉到 300k,量化用 KV Q8_0。他给出的结论是生成速度大概比之前测过的版本快了 1.5 倍。

推荐理由:一位 Reddit 用户分三次跑了超百万 token,在 300k 上下文和 KV Q8_0 量化下实测 Qwen3.6-35B-A3B 的 MTP 版本,生成速度约为此前版本的 1.5 倍。

彭博科技

OpenAI CFO 说算力越来越不够用,刚融完史上最大一笔私募钱可能还得再融

OpenAI 的首席财务官 Sarah Friar 公开表示,公司刚完成她所说的“史上最大私募融资”之后,可能还需要继续找钱,原因是算力缺口还在扩大,跟不上 AI 需求的增长速度。不过这篇报道的正文没有披露上一轮的具体金额、下一轮的目标规模和时间表,所以“最大”到底有多大、这次要融多少,目前都还不清楚。

推荐理由:OpenAI 首席财务官 Sarah Friar 称,公司完成一轮私募融资后仍可能继续找钱,算力缺口跟不上 AI 需求增速。这条消息给出了头部 AI 公司算力开支与融资节奏的一手说法。

AI HOT 精选

微软在 OpenAI 身上已砸了超 1000 亿美元,纳德拉说当年没人敢跟

微软企业发展负责人在庭审中确认,公司对 OpenAI 的总投入已超过 1000 亿美元。这笔钱里,130 亿是直接给的原始投资,其余大部分是 Azure 云服务的基建和托管成本,而且很多钱是在 OpenAI 开始给微软分成之前就花出去了。

推荐理由:微软企业发展负责人当庭确认对 OpenAI 累计投入超 1000 亿美元,其中 130 亿为直接投资,其余多为 Azure 基建与托管成本,且多数支出发生在 OpenAI 开始分成之前。

AI HOT 精选

推理的一阶导数:不直接卖算力,但靠 AI 用量暴增的公司

Tom Tunguz 把 Datadog 和 Twilio 这类公司叫做“推理的一阶导数”——它们不直接卖模型推理算力,但客户跑 AI 跑得越猛,它们就赚得越多。Datadog 的 LLM 监控数据量一个季度几乎翻倍,6500 个 AI 客户只占总客户数的 20%,却贡献了约 80% 的年化收入。

推荐理由:Tom Tunguz 提出推理的一阶导数概念,指 Datadog 这类不卖算力却随客户 AI 用量增长而增收的公司,其 LLM 监控数据量单季近乎翻倍。

AI HOT 精选

Claude API 提示预缓存:先预热系统提示,再让真实请求直接命中缓存,首 token 生成更快

一个减少长提示首 token 延迟的实用技巧。在用户请求到达前,先单独发一次系统提示给 Claude,让它把提示写进缓存,但跳过输出。等真实请求进来时,缓存已经热好,直接命中,省掉重复处理长提示的时间。正文没披露具体提速多少,但思路很直接,适合系统提示固定、用户提示多变的场景。

推荐理由:Claude API 支持在真实请求到达前先单独发送系统提示写入缓存并跳过输出,让后续请求直接命中缓存,减少长提示的首 token 延迟。

彭博科技

Cerebras 上市,成为今年最大 IPO

彭博科技 5 月 14 日的节目提到,AI 芯片公司 Cerebras 已经上市,是今年规模最大的 IPO。不过视频片段和文字摘要都没给出具体数字——融了多少钱、估值多少、发行价和交易所全都没提。想判断这笔交易到底有多大,还得等后续的公开文件。

推荐理由:AI 芯片公司 Cerebras 完成上市,成为今年规模最大的 IPO,但融资金额、估值、发行价与交易所均未披露。

彭博科技

AI 芯片公司 Cerebras 上市首日涨了 68%,是今年最大一笔 IPO

Cerebras 的股票周四在纽约收盘报 311.07 美元,比 185 美元的发行价高出 68%。这次上市一共融了 55 亿美元,是 2026 年目前为止规模最大的 IPO。正文没披露这 55 亿具体怎么花,也没提公司目前的营收或亏损情况。涨这么多说明市场现在对非英伟达路线的 AI 芯片兴趣很大,但单日涨幅受情绪影响重,我会先打个折看后续季度表现。

推荐理由:Cerebras 在纽约上市首日收涨 68%,募资 55 亿美元,公开市场对非英伟达路线 AI 芯片的认购热度由此有了一个具体参照。

彭博科技

Cerebras 上市后 CEO 身家达 32 亿美元,成今年最大 IPO

Cerebras 的 IPO 让 CEO Andrew Feldman 手里的股份值 32 亿美元。这是今年到目前为止规模最大的上市。Feldman 之前卖过三家公司,还带过另一家上市,正文没披露这次 IPO 的具体发行价、募资额、公司总估值和发行股数。

推荐理由:Cerebras 完成今年规模居前的 IPO,CEO Andrew Feldman 所持股份价值 32 亿美元,他此前已卖出三家公司并带过一家上市。

r/LocalLLaMA

网友追踪欧盟 15 家店 50 多天显卡价格:只有 RTX 5090 没降价,还涨了 3%

Reddit 用户 egudegi 用脚本每 6 小时抓一次欧盟 15 家店的显卡价格,攒了约 12.6 万条数据。结果显示 RTX 5090 均价从 3392 欧元涨到 3487 欧元,涨了 3%,是唯一没降价的型号。帖子正文被 Reddit 安全策略拦截,看不到更细的型号对比和店铺来源,所以没法判断涨价是普遍缺货还是个别渠道在抬价。

推荐理由:Reddit 用户用脚本追踪欧盟 15 家店 50 多天显卡价格,约 12.6 万条数据中 RTX 5090 均价从 3392 欧元涨到 3487 欧元,其余型号同期都在降价。

r/LocalLLaMA

RTX 5000 PRO 48GB 实跑测试:27B 模型跑到 80 tok/s,200k 上下文全精度缓存

一位完全没装过机的 Reddit 用户花了 5600 美元攒了一台 RTX 5000 PRO 48GB 的机器,单卡跑 Qwen3.6-27B-FP8 模型。他自己说装机全靠问 LLM,配 vLLM 时烧掉了 Claude Code 一半的周额度才搞定。

推荐理由:一位零装机经验的用户用5600美元攒出单卡RTX 5000 PRO 48GB机器,跑27B模型达到80 tok/s并支持200k上下文全精度缓存,展示了本地推理的可行配置。

TechCrunch · AI

Cerebras 上市首日股价翻倍,先融了 55 亿美元

Cerebras 在 2026 年第一个大型科技 IPO 里融到 55 亿美元,上市当天股价涨了 108%。正文没披露发行价、估值、发行股数和这笔钱具体怎么花。

推荐理由:Cerebras 在 2026 年第一个大型科技 IPO 中融到 55 亿美元,上市当天股价涨 108%,为观察 AI 芯片公司进入公开市场提供了一个样本。

AI HOT 精选

Arm 和 Google 联手,让手机本地跑音频模型快了 2 倍多

Arm 的新指令集 SME2 把矩阵计算单元直接塞进了 CPU,不用再纠结是忍受 CPU 慢还是外挂专用加速器。

推荐理由:Arm 与 Google AI Edge 用 SME2 指令集把矩阵计算单元放进 CPU,手机本地音频模型推理提速 2 倍多、内存占用降为四分之一,端侧推理管线与硬件指令的配合方式由此有了具体样本。

5月14日星期四

彭博科技

AI 芯片公司 Cerebras 上市首日股价涨了 68%,是今年最大一笔 IPO

Cerebras 做的是巨型 AI 训练芯片,跟英伟达走完全不同的路线。这次上市融了 55.5 亿美元,首日收盘涨了 68%。不过正文没披露 IPO 发行价和对应估值,也没说这 55.5 亿是发行收入还是包含超额配售。我会先打个折——股价涨得猛,但公司长期得证明自己的芯片在训练大模型时真能比英伟达更省钱、更好用,目前还没看到客户结构或营收细节。

推荐理由:Cerebras 以 55.5 亿美元融资规模登陆公开市场,首日收盘上涨 68%,其巨型训练芯片走的是与英伟达不同的技术路线。

量子位 · 公众号

摩尔线程把 SGLang 的 MUSA 后端合进了主线,还拉来核心开发者一起聊了聊

摩尔线程办了一场 SGLang × MUSA 线下交流会,宣布 MUSA 后端已经并入 SGLang 主分支。截至 5 月 12 日,他们一共提了 47 个 PR,其中 41 个被合并。不过正文因为环境验证问题没能加载出来,具体技术细节和现场讨论内容暂时看不到。

推荐理由:摩尔线程将 SGLang 的 MUSA 后端合入主分支,并累计提交 47 个 PR、其中 41 个被合并,为国产 GPU 参与主流推理框架生态提供了可参考的协作路径。

AI HOT 精选

OpenSquilla 用本地路由和缓存把大模型传输量砍掉九成以上

OpenSquilla 这个开源项目把模型路由决策放在本地跑,不花 token 就能判断问题难易:简单问题丢给便宜模型,复杂问题才上强模型。它靠增量发送和缓存命中把实际传输的 token 量压到原来的十分之一以下。记忆模块会在上下文快满时自动挑重点压缩,还支持混合检索。

推荐理由:OpenSquilla 把模型路由决策放在本地执行,不消耗 token 即可区分问题难易,并借增量发送与缓存命中将实际传输量压到十分之一以下。

AI HOT 精选

Unsloth 放出 Qwen3.6 MTP GGUF 模型,推理速度提升超 1.4 倍

Unsloth 创始人 Daniel Han 发了几个实验版 Qwen3.6 MTP GGUF 模型,用了一种叫“投机解码”的技术来加速推理。具体做法是让模型一次猜两个草稿 token(draft tokens=2),在速度和猜对率之间找了个平衡点。

推荐理由:Unsloth 创始人 Daniel Han 发布实验版 Qwen3.6 MTP GGUF 模型,用投机解码让模型一次猜两个草稿 token,在速度与猜对率之间取平衡,推理速度提升超 1.4 倍。

AI HOT 精选

杨植麟发 40 分钟视频拆解 Kimi K2:训练花了 460 万美元,编程跑分压过 GPT-5.5

杨植麟在视频里把 Kimi K2 的训练账本摊开了:总花费 460 万美元,靠线性注意力等架构上的极致优化,在编程任务上跑赢了 GPT-5.5 等对手。这个数字说明他们用远低于大厂的预算,靠设计把资源差距抹平了。不过视频是创始人自述,没有第三方验证,跑分对比的具体基准和测试条件也没展开,这点先别太激动。

推荐理由:杨植麟用40分钟视频公开Kimi K2的460万美元训练成本,并称其在编程任务上跑赢GPT-5.5,低预算与架构优化结合的做法由此有了具体参照。

AI HOT 精选

AI 替你处理邮件,一个月要花多少钱?

作者拿主流大模型算了一笔账:让 AI 帮你读、写、整理邮件,每月推理成本在 22 到 130 美元之间,中位数 26 美元。如果做成 SaaS 产品,按 75% 毛利率定价,一年大概要收 500 美元,比 Google 企业版贵一倍。想省钱的话,换小模型能把成本压到十分之一甚至二十分之一;更狠的做法是直接在用户自己的 GPU 上跑,边际成本趋近于零。

推荐理由:作者按主流大模型算了一笔账,AI 处理邮件每月推理成本 22 到 130 美元,做成 SaaS 按 75% 毛利率定价一年约收 500 美元,并给出换小模型和本地 GPU 两条降本路径。

AI HOT 精选

让 GPU 别闲着:用异步批处理榨干推理性能

Hugging Face 发现,一个 80 亿参数的模型在生成 8000 个 token 时,GPU 有 24% 的时间在空转。原因出在同步批处理上:CPU 准备下一批数据时,GPU 只能干等,反之亦然。这篇文章讲的是怎么用 CUDA 流把这两件事拆开并行,让 CPU 准备第 N+1 批的同时,GPU 已经在算第 N 批,把空闲缝隙填满。

推荐理由:Hugging Face 指出 80 亿参数模型生成 8000 个 token 时 GPU 有 24% 时间空转,并给出用 CUDA 流让 CPU 与 GPU 并行、填满空闲缝隙的具体做法。

FT · 科技

Cerebras 上调 IPO 定价,目标融资 55 亿美元

Cerebras 提高了首次公开募股的价格区间,想通过上市拿到 55 亿美元。按这个融资额倒推,公司估值大概在 400 亿美元。不过正文被付费墙挡住了,具体的发行价区间、发行股数和上市日期都没披露,所以这个估值是怎么算出来的还不清楚。

推荐理由:Cerebras 上调 IPO 定价区间,目标融资 55 亿美元,按此倒推估值约 400 亿美元,二级市场对非英伟达 AI 芯片公司的认购意愿由此可窥一斑。

r/LocalLLaMA

双卡 RTX 3090 跑 Qwen 3.6 27B:48G 显存、26 万上下文窗口,生成速度 113 token/秒

一位 Reddit 用户用两张 RTX 3090 在 Ubuntu 上跑 Qwen 3.6 27B 模型,没上 NVLink。处理长文本时每秒能啃 4000 个 token,生成回答的速度是每秒 113 个 token。这个速度日常聊天或做文档处理都够用。

推荐理由:一位 Reddit 用户用两张 RTX 3090 在 Ubuntu 上跑 Qwen 3.6 27B,48G 显存撑起 26 万上下文,生成速度每秒 113 token,给出了消费级双卡本地部署长上下文模型的一套具体配置。

r/LocalLLaMA

老显卡 GTX 1080 跑 30B 混合专家模型,每秒能出 24 个 token

用户 mdda 在一台老机器(i7-6700、GTX 1080 8GB 显存、32GB 内存)上跑 Qwen 3.6 35B-A3B 这类约 300 亿参数的混合专家模型,推理速度到了每秒 24 个 token 左右,上下文窗口开到 128k。

推荐理由:用户 mdda 在 i7-6700 配 GTX 1080 8GB 显存的老机器上跑约 300 亿参数混合专家模型,推理速度约每秒 24 个 token,上下文开到 128k,给出了老硬件运行大模型的具体配置与实测数字。