跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

609 条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 401–420 条 · 共 609 条

5月14日星期四

AI HOT 精选

让 GPU 别闲着:用异步批处理榨干推理性能

Hugging Face 发现,一个 80 亿参数的模型在生成 8000 个 token 时,GPU 有 24% 的时间在空转。原因出在同步批处理上:CPU 准备下一批数据时,GPU 只能干等,反之亦然。这篇文章讲的是怎么用 CUDA 流把这两件事拆开并行,让 CPU 准备第 N+1 批的同时,GPU 已经在算第 N 批,把空闲缝隙填满。

推荐理由:Hugging Face 指出 80 亿参数模型生成 8000 个 token 时 GPU 有 24% 时间空转,并给出用 CUDA 流让 CPU 与 GPU 并行、填满空闲缝隙的具体做法。

FT · 科技

Cerebras 上调 IPO 定价,目标融资 55 亿美元

Cerebras 提高了首次公开募股的价格区间,想通过上市拿到 55 亿美元。按这个融资额倒推,公司估值大概在 400 亿美元。不过正文被付费墙挡住了,具体的发行价区间、发行股数和上市日期都没披露,所以这个估值是怎么算出来的还不清楚。

推荐理由:Cerebras 上调 IPO 定价区间,目标融资 55 亿美元,按此倒推估值约 400 亿美元,二级市场对非英伟达 AI 芯片公司的认购意愿由此可窥一斑。

r/LocalLLaMA

双卡 RTX 3090 跑 Qwen 3.6 27B:48G 显存、26 万上下文窗口,生成速度 113 token/秒

一位 Reddit 用户用两张 RTX 3090 在 Ubuntu 上跑 Qwen 3.6 27B 模型,没上 NVLink。处理长文本时每秒能啃 4000 个 token,生成回答的速度是每秒 113 个 token。这个速度日常聊天或做文档处理都够用。

推荐理由:一位 Reddit 用户用两张 RTX 3090 在 Ubuntu 上跑 Qwen 3.6 27B,48G 显存撑起 26 万上下文,生成速度每秒 113 token,给出了消费级双卡本地部署长上下文模型的一套具体配置。

r/LocalLLaMA

老显卡 GTX 1080 跑 30B 混合专家模型,每秒能出 24 个 token

用户 mdda 在一台老机器(i7-6700、GTX 1080 8GB 显存、32GB 内存)上跑 Qwen 3.6 35B-A3B 这类约 300 亿参数的混合专家模型,推理速度到了每秒 24 个 token 左右,上下文窗口开到 128k。

推荐理由:用户 mdda 在 i7-6700 配 GTX 1080 8GB 显存的老机器上跑约 300 亿参数混合专家模型,推理速度约每秒 24 个 token,上下文开到 128k,给出了老硬件运行大模型的具体配置与实测数字。

彭博科技

AI 芯片公司 Cerebras IPO 定价每股 185 美元,募资 55.5 亿美元

Cerebras 这次上市募了 55.5 亿美元,是今年美股最大的一笔 IPO。定价落在每股 185 美元,但正文被 Bloomberg 的付费墙挡住了,没披露对应估值和发行股数。这家公司做的是巨型 AI 训练芯片,直接跟英伟达抢生意,上市后手里现金会厚很多,但后续量产和客户集中度的问题还得看招股书细节。

推荐理由:Cerebras 以每股 185 美元完成 IPO,募资 55.5 亿美元,资金将用于扩充巨型 AI 训练芯片的产能与客户拓展。

AI HOT 精选

Meta 在 WhatsApp 里上线隐身聊天,推理跑在手机安全区、不留服务器日志

Meta 首席 AI 官宣布 WhatsApp 和 Meta AI 上线 Incognito Chat。和 ChatGPT 那种只不存历史记录的临时聊天不一样,这次对话推理完全在手机硬件安全飞地内完成,Meta 工程师拿不到明文,也不产生服务器日志,会话结束后数据永久删除。

推荐理由:Meta 在 WhatsApp 上线 Incognito Chat,对话推理在手机安全飞地内完成,服务器不留日志、会话结束即删除,与只清历史记录的临时聊天形成对照。

5月13日星期三

量子位 · 公众号

字节提出 GRN,让生图模型像人一样边画边改,不再死磕扩散和自回归

字节跳动的技术团队搞了个叫 GRN(生成式精炼网络)的新架构,想给视觉生成找第三条路,不跟扩散模型和自回归模型硬卷。它的核心思路是让模型先生成一张粗糙的图,再反复精修,就像画师先铺大色块再慢慢抠细节。为了解决反复修图容易把图修糊、错误越攒越多的问题,他们用了三项技术:HBQ(分层二元量化)把图片压成更紧凑的离散编码,减少信息损耗。

推荐理由:字节团队提出 GRN 架构,让视觉生成先出粗图再反复精修,并用 HBQ 分层二元量化压缩离散编码以减少信息损耗,为扩散与自回归之外的第三条路线提供了具体技术方案。

r/LocalLLaMA

小米把 1 万亿参数的 MiMo-V2.5-Pro 开源了,但自己跑真的划算吗?

小米放出了 MiMo-V2.5-Pro,参数总量 1.02 万亿,但每次推理只激活 420 亿参数,上下文窗口能塞进 100 万个 token,用 MIT 许可证。作者拿它跑了 125 次 Claude Code 任务,走 API 总共花了 70.12 美元,处理了约 3.87 亿个 token,缓存命中率高达 96.3%。

推荐理由:小米开源 MiMo-V2.5-Pro,1.02 万亿参数、每次激活 420 亿,作者用 Claude Code 跑 125 次任务,3.87 亿 token 的 API 花费 70.12 美元,自建与调用的成本对比有了具体参照。

纽约时报中文网

黄仁勋没在首批名单上,特朗普看到报道后亲自打电话把他拉上了访华专机

白宫周一公布的16人CEO随行名单里没有黄仁勋,这件事在硅谷和华盛顿都引起了议论。特朗普周二上午直接打电话邀请,黄仁勋当晚在阿拉斯加登上了空军一号。他掌管的英伟达是全球市值最高的公司,过去一年一直在游说中美双方,想拿到向中国卖AI芯片的许可。去年夏天特朗普批准卖上一代芯片,但中国政府至今没批任何采购,美国政府内部也有人以国家安全为由反对卖更先进的芯片。

推荐理由:白宫公布16人CEO名单时没有黄仁勋,特朗普次日亲自致电补邀,他当晚在阿拉斯加登上空军一号。英伟达过去一年持续游说中美双方争取AI芯片对华销售许可,此行背景由此展开。

纽约时报中文网

DeepSeek 新模型首次用华为芯片跑推理,训练还得靠英伟达

DeepSeek 上个月发新模型,头一回说推理环节跑在了华为芯片上,但两位半导体业人士透露,训练阶段仍然依赖英伟达芯片,具体怎么拿到的没细说。华为计划今年出训练芯片,同时承认性能追上英伟达现有水平还要再等一年。这件事让中国在 AI 硬件上跟美国进一步脱钩,也印证了黄仁勋之前的警告:出口管制反而逼着中国自建一套技术栈。

推荐理由:DeepSeek 新模型推理环节跑在华为芯片上,训练仍依赖英伟达,华为训练芯片要等一年才能追平,这条把中国 AI 硬件脱钩的现状和卡点摆了出来。

r/LocalLLaMA

有人把 Transformer 语言模型塞进了原装 Game Boy Color 里跑

maddiedreese 把 Andrej Karpathy 的 TinyStories-260K 模型成功跑在了一台没改过硬件的 Game Boy Color 上。他用 INT8 量化权重、定点数运算,把模型和 KV 缓存塞进 MBC5 卡带的 bank-switched ROM 和 SRAM 里,全程不靠手机、电脑、Wi-Fi 或云端推理。

推荐理由:一个 Reddit 硬件 hack,把 TinyStories-260K 塞进原装 Game Boy Color,用 INT8 和定点数学跑推理,KV cache 放在卡带 SRAM 里。输出慢到没法用,而且基本是乱码,所以别当产品看。但能在这种老设备上把 transformer 跑起来,本身就挺酷,技术细节也给得实在,适合当一条有趣的行业花絮。

彭博科技

CME 打算推出算力期货,把 GPU 租赁变成可交易合约

芝加哥商品交易所(CME)和 Silicon Data 正在筹划一个算力期货市场,让计算资源像原油或玉米一样在交易所买卖。视频里讨论了这么做的逻辑和运作方式,但没公布合约的具体规格、上线时间,也没说价格怎么定。对 AI 公司来说,这相当于提前锁定 GPU 租用成本,不用再担心突然涨价或抢不到卡。

推荐理由:CME 与 Silicon Data 筹划算力期货市场,让 GPU 租赁像原油一样在交易所交易,AI 公司可提前锁定租用成本以应对涨价或缺卡。

AI HOT 精选

Claude Opus 4.7 快速模式开放研究预览,API 和 Claude Code 都能用

Anthropic 把 Claude Opus 4.7 的快速模式放出来了,现在可以在 API 和 Claude Code 里用,但还挂着研究预览的标签。正文没提模型参数量、具体定价、调用频率限制,也没说什么时候转正式版。如果是真的快又便宜,对日常开发场景会挺实用,不过这些关键信息都缺着,先别急着切生产环境。

推荐理由:Anthropic 将 Claude Opus 4.7 快速模式以研究预览形式开放给 API 和 Claude Code,写代码、调工具的等待时间可能缩短,但模型规模、定价和速率限制尚未公布。

Hacker News 首页

Needle:一个 26M 参数的小模型,专门做工具调用,能在普通电脑上跑到每秒 1200 token

Cactus 开源了一个叫 Needle 的工具调用模型,参数量只有 2600 万,小到可以在消费级设备上跑。它的推理速度很快,预填充阶段每秒能处理 6000 个 token,生成阶段每秒 1200 个 token。这个模型是从 Gemini 的工具调用能力蒸馏出来的,相当于把大模型怎么调用 API、怎么选函数这套本事,压缩进了一个极小的模型里。

推荐理由:Cactus 把 Gemini 的工具调用能力蒸馏进一个 2600 万参数模型,预填充每秒 6000 token、生成每秒 1200 token,可在消费级设备本地运行。

r/LocalLLaMA

Needle:他们把 Gemini 的工具调用能力蒸馏进了一个 26M 小模型

Cactus Compute 开源了一个叫 Needle 的工具调用模型,参数量只有 2600 万。它用 Gemini 当老师,把怎么调用外部工具的能力蒸馏出来,塞进一个没有传统 MLP 层、靠注意力机制和门控结构的小模型里。在消费级设备上跑,预填充速度能到每秒 6000 个 token,解码速度每秒 1200 个 token。

推荐理由:Cactus Compute 把 Gemini 的工具调用能力蒸馏进一个 2600 万参数的小模型,并给出消费级设备上每秒 6000 个 token 的预填充速度,为端侧工具调用提供了一种轻量方案。

TechCrunch · AI

Google 和 SpaceX 在谈把数据中心搬上太空

Google 和 SpaceX 正在讨论建轨道数据中心,专门跑 AI 算力。SpaceX 今年晚些时候要搞 1.75 万亿美元的 IPO,需要这个“太空机房”的故事来撑估值。但先别太激动——TechCrunch 自己算过账,把卫星制造和发射成本算进去,现在太空机房的成本比地面贵得多。

推荐理由:Google 与 SpaceX 正讨论建轨道数据中心跑 AI 算力,而 TechCrunch 算过账,把卫星制造和发射成本计入后,太空机房眼下比地面贵得多。

FT · 科技

芝加哥商品交易所(CME)打算推出 AI 算力期货,让 GPU 租金也能像石油一样做对冲

CME 计划推出挂钩 GPU 租赁价格的期货合约,交易员和公司可以用它来赌未来算力成本涨跌,或者锁定成本做套期保值。不过这篇 FT 文章正文被付费墙挡住了,合约的具体规格、参考的租金指数、上线时间这些关键信息都没披露。

推荐理由:CME 计划推出挂钩 GPU 租赁价格的期货合约,让算力成本也能像石油一样通过套期保值锁定,这是算力从技术资源变成可交易金融标的的一步。

5月12日星期二

r/LocalLLaMA

一台 16GB 显存 + 64GB 内存跑本地代码补全和智能体编程

Reddit 用户 grumd 在一张 RTX 5080(16GB 显存)和 64GB 内存的单机上同时跑了两套模型:Qwen2.5-Coder-7B Q6 做代码补全,Qwen3.6-35B-A3B Q8 做智能体编程(让模型自己规划步骤、调用工具写代码)。

推荐理由:Reddit 用户 grumd 在单张 16GB 显存显卡加 64GB 内存的机器上同时运行代码补全与智能体编程两套模型,并列出所用模型、量化方式和上下文长度。

机器之心 · 公众号

字节开源 DreamLite:0.39B 参数模型在 iPhone 上 3 秒出图,不用联网

DreamLite 是字节跳动开源的一个统一扩散模型,参数量只有 3.9 亿,能在 iPhone 17 Pro 上直接跑,生成或编辑一张 1024×1024 的图大约 3 秒。它靠 DMD2 蒸馏技术把推理压缩到 4 步,全程在手机本地完成,不依赖云端。

推荐理由:字节跳动开源 3.9 亿参数的统一扩散模型 DreamLite,在 iPhone 17 Pro 上本地生成或编辑一张 1024×1024 的图约 3 秒,靠 DMD2 蒸馏把推理压到 4 步。

AI HOT 精选

OpenAI 办了一场“参数高尔夫”比赛,1000 多人用 AI 助手卷模型压缩,我们看到了什么

OpenAI 搞了个叫 Parameter Golf 的机器学习挑战赛,规则很硬:模型加代码总大小不能超过 16MB,训练时间只有 10 分钟(用 8 张 H100),看谁能在固定数据集上把测试损失压到最低。超过 1000 人提交了 2000 多次结果。我会先打个折,正文没披露最终冠军的具体分数,但重点讲了技术路数。

推荐理由:OpenAI 举办 Parameter Golf 挑战赛,限制模型加代码不超过 16MB、训练仅 10 分钟,超 1000 人提交 2000 多次结果,复盘了参赛者用 AI 助手压缩模型的技术路数。