跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

609 条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 381–400 条 · 共 609 条

5月15日星期五

AI HOT 精选

X 把“为你推荐”的算法开源了,用的还是 Grok 同款 Transformer

X 在 GitHub 上公开了“For You”信息流的推荐管道,代码、预训练模型和内容理解服务都给了。核心是一套叫 Phoenix 的 Transformer 模型,基于 Grok 架构,负责给候选帖子打分。它会看用户最近跟谁互动,同时预测点赞、回复、转发这些行为的概率,揉成一个相关性分数。

推荐理由:X 在 GitHub 公开了 For You 信息流的推荐管道,代码、预训练模型和内容理解服务一并给出,核心是基于 Grok 架构的 Phoenix 模型为候选帖子打分。

r/LocalLLaMA

实测外挂资料库客服机器人:最贵的模型表现最差,真正管用的是这几招

作者搭了一个客服用的外挂资料库(RAG)问答机器人,用模型当裁判打分,把质量分从 6.62 拉到了 7.88,同时单次会话成本从 $0.002420 砍到 $0.000509,降了将近八成。最反直觉的发现是:最贵的模型反而是表现最差的。

推荐理由:作者用模型当裁判调优客服 RAG 机器人,质量分从 6.62 升到 7.88,单次会话成本降近八成,最贵的模型反而表现最差。

r/LocalLLaMA

网友用百万级 token 实测 Qwen 3.6 35B MTP 版,速度比之前快了约一半

一位 Reddit 用户分三次跑了超过一百万 token 来测 Qwen3.6-35B-A3B 的多 token 预测(MTP)版本,上下文拉到 300k,量化用 KV Q8_0。他给出的结论是生成速度大概比之前测过的版本快了 1.5 倍。

推荐理由:一位 Reddit 用户分三次跑了超百万 token,在 300k 上下文和 KV Q8_0 量化下实测 Qwen3.6-35B-A3B 的 MTP 版本,生成速度约为此前版本的 1.5 倍。

彭博科技

OpenAI CFO 说算力越来越不够用,刚融完史上最大一笔私募钱可能还得再融

OpenAI 的首席财务官 Sarah Friar 公开表示,公司刚完成她所说的“史上最大私募融资”之后,可能还需要继续找钱,原因是算力缺口还在扩大,跟不上 AI 需求的增长速度。不过这篇报道的正文没有披露上一轮的具体金额、下一轮的目标规模和时间表,所以“最大”到底有多大、这次要融多少,目前都还不清楚。

推荐理由:OpenAI 首席财务官 Sarah Friar 称,公司完成一轮私募融资后仍可能继续找钱,算力缺口跟不上 AI 需求增速。这条消息给出了头部 AI 公司算力开支与融资节奏的一手说法。

AI HOT 精选

微软在 OpenAI 身上已砸了超 1000 亿美元,纳德拉说当年没人敢跟

微软企业发展负责人在庭审中确认,公司对 OpenAI 的总投入已超过 1000 亿美元。这笔钱里,130 亿是直接给的原始投资,其余大部分是 Azure 云服务的基建和托管成本,而且很多钱是在 OpenAI 开始给微软分成之前就花出去了。

推荐理由:微软企业发展负责人当庭确认对 OpenAI 累计投入超 1000 亿美元,其中 130 亿为直接投资,其余多为 Azure 基建与托管成本,且多数支出发生在 OpenAI 开始分成之前。

AI HOT 精选

推理的一阶导数:不直接卖算力,但靠 AI 用量暴增的公司

Tom Tunguz 把 Datadog 和 Twilio 这类公司叫做“推理的一阶导数”——它们不直接卖模型推理算力,但客户跑 AI 跑得越猛,它们就赚得越多。Datadog 的 LLM 监控数据量一个季度几乎翻倍,6500 个 AI 客户只占总客户数的 20%,却贡献了约 80% 的年化收入。

推荐理由:Tom Tunguz 提出推理的一阶导数概念,指 Datadog 这类不卖算力却随客户 AI 用量增长而增收的公司,其 LLM 监控数据量单季近乎翻倍。

AI HOT 精选

Claude API 提示预缓存:先预热系统提示,再让真实请求直接命中缓存,首 token 生成更快

一个减少长提示首 token 延迟的实用技巧。在用户请求到达前,先单独发一次系统提示给 Claude,让它把提示写进缓存,但跳过输出。等真实请求进来时,缓存已经热好,直接命中,省掉重复处理长提示的时间。正文没披露具体提速多少,但思路很直接,适合系统提示固定、用户提示多变的场景。

推荐理由:Claude API 支持在真实请求到达前先单独发送系统提示写入缓存并跳过输出,让后续请求直接命中缓存,减少长提示的首 token 延迟。

彭博科技

Cerebras 上市,成为今年最大 IPO

彭博科技 5 月 14 日的节目提到,AI 芯片公司 Cerebras 已经上市,是今年规模最大的 IPO。不过视频片段和文字摘要都没给出具体数字——融了多少钱、估值多少、发行价和交易所全都没提。想判断这笔交易到底有多大,还得等后续的公开文件。

推荐理由:AI 芯片公司 Cerebras 完成上市,成为今年规模最大的 IPO,但融资金额、估值、发行价与交易所均未披露。

彭博科技

AI 芯片公司 Cerebras 上市首日涨了 68%,是今年最大一笔 IPO

Cerebras 的股票周四在纽约收盘报 311.07 美元,比 185 美元的发行价高出 68%。这次上市一共融了 55 亿美元,是 2026 年目前为止规模最大的 IPO。正文没披露这 55 亿具体怎么花,也没提公司目前的营收或亏损情况。涨这么多说明市场现在对非英伟达路线的 AI 芯片兴趣很大,但单日涨幅受情绪影响重,我会先打个折看后续季度表现。

推荐理由:Cerebras 在纽约上市首日收涨 68%,募资 55 亿美元,公开市场对非英伟达路线 AI 芯片的认购热度由此有了一个具体参照。

彭博科技

Cerebras 上市后 CEO 身家达 32 亿美元,成今年最大 IPO

Cerebras 的 IPO 让 CEO Andrew Feldman 手里的股份值 32 亿美元。这是今年到目前为止规模最大的上市。Feldman 之前卖过三家公司,还带过另一家上市,正文没披露这次 IPO 的具体发行价、募资额、公司总估值和发行股数。

推荐理由:Cerebras 完成今年规模居前的 IPO,CEO Andrew Feldman 所持股份价值 32 亿美元,他此前已卖出三家公司并带过一家上市。

r/LocalLLaMA

网友追踪欧盟 15 家店 50 多天显卡价格:只有 RTX 5090 没降价,还涨了 3%

Reddit 用户 egudegi 用脚本每 6 小时抓一次欧盟 15 家店的显卡价格,攒了约 12.6 万条数据。结果显示 RTX 5090 均价从 3392 欧元涨到 3487 欧元,涨了 3%,是唯一没降价的型号。帖子正文被 Reddit 安全策略拦截,看不到更细的型号对比和店铺来源,所以没法判断涨价是普遍缺货还是个别渠道在抬价。

推荐理由:Reddit 用户用脚本追踪欧盟 15 家店 50 多天显卡价格,约 12.6 万条数据中 RTX 5090 均价从 3392 欧元涨到 3487 欧元,其余型号同期都在降价。

r/LocalLLaMA

RTX 5000 PRO 48GB 实跑测试:27B 模型跑到 80 tok/s,200k 上下文全精度缓存

一位完全没装过机的 Reddit 用户花了 5600 美元攒了一台 RTX 5000 PRO 48GB 的机器,单卡跑 Qwen3.6-27B-FP8 模型。他自己说装机全靠问 LLM,配 vLLM 时烧掉了 Claude Code 一半的周额度才搞定。

推荐理由:一位零装机经验的用户用5600美元攒出单卡RTX 5000 PRO 48GB机器,跑27B模型达到80 tok/s并支持200k上下文全精度缓存,展示了本地推理的可行配置。

TechCrunch · AI

Cerebras 上市首日股价翻倍,先融了 55 亿美元

Cerebras 在 2026 年第一个大型科技 IPO 里融到 55 亿美元,上市当天股价涨了 108%。正文没披露发行价、估值、发行股数和这笔钱具体怎么花。

推荐理由:Cerebras 在 2026 年第一个大型科技 IPO 中融到 55 亿美元,上市当天股价涨 108%,为观察 AI 芯片公司进入公开市场提供了一个样本。

AI HOT 精选

Arm 和 Google 联手,让手机本地跑音频模型快了 2 倍多

Arm 的新指令集 SME2 把矩阵计算单元直接塞进了 CPU,不用再纠结是忍受 CPU 慢还是外挂专用加速器。

推荐理由:Arm 与 Google AI Edge 用 SME2 指令集把矩阵计算单元放进 CPU,手机本地音频模型推理提速 2 倍多、内存占用降为四分之一,端侧推理管线与硬件指令的配合方式由此有了具体样本。

5月14日星期四

彭博科技

AI 芯片公司 Cerebras 上市首日股价涨了 68%,是今年最大一笔 IPO

Cerebras 做的是巨型 AI 训练芯片,跟英伟达走完全不同的路线。这次上市融了 55.5 亿美元,首日收盘涨了 68%。不过正文没披露 IPO 发行价和对应估值,也没说这 55.5 亿是发行收入还是包含超额配售。我会先打个折——股价涨得猛,但公司长期得证明自己的芯片在训练大模型时真能比英伟达更省钱、更好用,目前还没看到客户结构或营收细节。

推荐理由:Cerebras 以 55.5 亿美元融资规模登陆公开市场,首日收盘上涨 68%,其巨型训练芯片走的是与英伟达不同的技术路线。

量子位 · 公众号

摩尔线程把 SGLang 的 MUSA 后端合进了主线,还拉来核心开发者一起聊了聊

摩尔线程办了一场 SGLang × MUSA 线下交流会,宣布 MUSA 后端已经并入 SGLang 主分支。截至 5 月 12 日,他们一共提了 47 个 PR,其中 41 个被合并。不过正文因为环境验证问题没能加载出来,具体技术细节和现场讨论内容暂时看不到。

推荐理由:摩尔线程将 SGLang 的 MUSA 后端合入主分支,并累计提交 47 个 PR、其中 41 个被合并,为国产 GPU 参与主流推理框架生态提供了可参考的协作路径。

AI HOT 精选

OpenSquilla 用本地路由和缓存把大模型传输量砍掉九成以上

OpenSquilla 这个开源项目把模型路由决策放在本地跑,不花 token 就能判断问题难易:简单问题丢给便宜模型,复杂问题才上强模型。它靠增量发送和缓存命中把实际传输的 token 量压到原来的十分之一以下。记忆模块会在上下文快满时自动挑重点压缩,还支持混合检索。

推荐理由:OpenSquilla 把模型路由决策放在本地执行,不消耗 token 即可区分问题难易,并借增量发送与缓存命中将实际传输量压到十分之一以下。

AI HOT 精选

Unsloth 放出 Qwen3.6 MTP GGUF 模型,推理速度提升超 1.4 倍

Unsloth 创始人 Daniel Han 发了几个实验版 Qwen3.6 MTP GGUF 模型,用了一种叫“投机解码”的技术来加速推理。具体做法是让模型一次猜两个草稿 token(draft tokens=2),在速度和猜对率之间找了个平衡点。

推荐理由:Unsloth 创始人 Daniel Han 发布实验版 Qwen3.6 MTP GGUF 模型,用投机解码让模型一次猜两个草稿 token,在速度与猜对率之间取平衡,推理速度提升超 1.4 倍。

AI HOT 精选

杨植麟发 40 分钟视频拆解 Kimi K2:训练花了 460 万美元,编程跑分压过 GPT-5.5

杨植麟在视频里把 Kimi K2 的训练账本摊开了:总花费 460 万美元,靠线性注意力等架构上的极致优化,在编程任务上跑赢了 GPT-5.5 等对手。这个数字说明他们用远低于大厂的预算,靠设计把资源差距抹平了。不过视频是创始人自述,没有第三方验证,跑分对比的具体基准和测试条件也没展开,这点先别太激动。

推荐理由:杨植麟用40分钟视频公开Kimi K2的460万美元训练成本,并称其在编程任务上跑赢GPT-5.5,低预算与架构优化结合的做法由此有了具体参照。

AI HOT 精选

AI 替你处理邮件,一个月要花多少钱?

作者拿主流大模型算了一笔账:让 AI 帮你读、写、整理邮件,每月推理成本在 22 到 130 美元之间,中位数 26 美元。如果做成 SaaS 产品,按 75% 毛利率定价,一年大概要收 500 美元,比 Google 企业版贵一倍。想省钱的话,换小模型能把成本压到十分之一甚至二十分之一;更狠的做法是直接在用户自己的 GPU 上跑,边际成本趋近于零。

推荐理由:作者按主流大模型算了一笔账,AI 处理邮件每月推理成本 22 到 130 美元,做成 SaaS 按 75% 毛利率定价一年约收 500 美元,并给出换小模型和本地 GPU 两条降本路径。