跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

609 条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 181–200 条 · 共 609 条

6月9日星期二

AI HOT 精选

Google 放出 Gemini 3.5 Live Translate,话没说完就开始翻,支持 70 多种语言

Google 发了 Gemini 3.5 Live Translate,一个实时语音转语音翻译模型。它不等对方把整句话讲完,边听边翻,用流式更新把结果推出来,延迟压到几秒,还能保留原声的语速、音高和语调。

推荐理由:Google 发布 Gemini 3.5 Live Translate,支持 70 多种语言,不等整句讲完就边听边翻,延迟压到几秒并保留原声语速、音高和语调。

AI HOT 精选

Gemma 4 12B 发布:一个模型直接看懂图文和音频,不用外挂编码器

Google DeepMind 开源了 Gemma 4 12B,一个 120 亿参数的多模态模型。它最大的变化是去掉了传统的独立视觉/音频编码器,把所有输入统一交给 Transformer 处理,架构更简单。模型能直接听懂语音,不再需要先转文字。官方说它用 Apache 2.0 协议开源,在 16GB 显存或统一内存的笔记本上就能跑。

推荐理由:Google DeepMind 开源 Gemma 4 12B,去掉独立视觉和音频编码器,统一由 Transformer 处理图文语音,16GB 显存即可运行。

r/LocalLLaMA

苹果在 WWDC 发布了 CoreAI,一个给自家芯片用的端侧推理引擎,用来替代 CoreML

苹果在 WWDC 上公布了 CoreAI,定位是 CoreML 的继任者,专门在苹果芯片上跑模型推理。模型得先用 Python 脚本转一道才能用,目前支持的模型列表主要是 2025 年年中左右的版本。帖子正文没给出任何性能数据,速度、内存占用、功耗这些关键指标一概没提,所以实际跑起来快不快、省不省资源还不好说。

推荐理由:苹果在 WWDC 公布 CoreAI 作为 CoreML 继任者,用于在苹果芯片上跑模型推理,模型需先用 Python 脚本转换,目前支持列表以 2025 年年中版本为主。

AI HOT 精选

中国准备砸 2 万亿人民币,五年内铺全国 AI 算力网

彭博社拿到消息,中国正在筹划一个五年约 2 万亿人民币(折合 2950 亿美元)的 AI 基建计划,核心是建大型数据中心。这笔钱主要用来解决国内 AI 发展的算力缺口,相当于国家出钱铺“算力高速公路”。不过正文没披露钱具体怎么分、由哪些部门牵头、以及建成后算力怎么定价和分配。如果是真的,这个投资规模很猛,但先别太激动,等官方细则出来再看落地节奏。

推荐理由:彭博社报道中国正筹划五年约2万亿人民币的AI基建计划,核心是建大型数据中心以补算力缺口,这笔投资的规模本身构成理解国内算力布局的关键背景。

AI HOT 精选

小米 MiMo 1T 模型跑出每秒超 1000 token,靠混合量化和并行解码把速度提了 10 倍

小米 MiMo 和 TileRT 给 1T 参数旗舰模型加了个 UltraSpeed 模式,输出速度首次超过 1000 tokens/s。模型这边用了 FP4 混合量化,只量化 MoE 的 Expert 部分,搭配 DFlash 的块级 masked 并行推测解码,coding 场景下平均一次能接受 6.30 个 token,相当于猜对的命中率不低。

推荐理由:小米 MiMo 与 TileRT 为 1T 参数模型加入 UltraSpeed 模式,输出突破 1000 tokens/s,其 FP4 只量化 MoE 专家部分并搭配块级并行推测解码,coding 场景单次平均接受 6.30 个 token。

AI HOT 精选

SpaceX 要把 AI 数据中心搬上近地轨道,单颗卫星持续算力约 120 kW,延迟 6-8 毫秒

马斯克公布了 SpaceX 的 AI1 轨道 AI 数据中心卫星方案。每颗卫星峰值功率 150 kW,持续计算功率约 120 kW,大致相当于一个 NVIDIA GB300 机架的算力。卫星跑在 600-800 公里高的近地轨道,通过激光链路互联,带宽约 1 Tbps,往返延迟 6-8 毫秒。散热靠双面散热器,排热能力 1,400 W/m²。

推荐理由:马斯克公布 SpaceX 的 AI1 轨道数据中心卫星方案,单颗持续算力约 120 kW,大致相当于一个 NVIDIA GB300 机架,并给出 6 至 8 毫秒的激光链路往返延迟。

r/LocalLLaMA

单张 MI50 跑 Qwen3.6-27B 速度翻倍:从 19.4 涨到 38.1 token/秒

有个玩家在单张 AMD MI50 上跑 Qwen3.6-27B 模型,用 Q8 或更低精度的量化版本时,发现显卡的算力没吃满。他想到一个取巧的办法:不额外加载一个小模型做投机解码,而是让同一个模型同时跑两路计算,假装自己有两份模型副本。结果生成速度直接从 19.4 token/秒翻到 38.1 token/秒。

推荐理由:有玩家在单张 MI50 上让 Qwen3.6-27B 同时跑两路计算,把生成速度从 19.4 token/秒提到 38.1 token/秒,为量化模型算力未吃满的情况提供了一种不加载小模型的提速思路。

r/LocalLLaMA

Apple 放出 MLX LM Server,让多台 Mac 通过雷电网口搭伙跑大模型

这篇 Reddit 帖子本身被屏蔽了,正文内容看不到,只能从标题和现有摘要拼出大致信息。Apple 的 MLX LM Server 支持连续批处理,能同时处理多个子代理的请求,不会一个一个排队干等。它还支持分布式推理,可以通过 Thunderbolt RDMA 把几台 Mac 连起来一起跑模型,相当于用高速雷电网口把算力拼成一台虚拟大机器。

推荐理由:Apple 的 MLX LM Server 支持连续批处理,并可通过雷电网口把多台 Mac 连起来做分布式推理,为关注本地大模型部署的读者提供一种拼算力的思路。

r/LocalLLaMA

Levi:在你的本地 Qwen 30B 上跑类似 AlphaEvolve 的搜索系统

Levi 是一个开源项目,让你能在本地用 Qwen3-30B-A3B 模型跑一套类似 AlphaEvolve 的搜索系统。作者在 ADRS、IFBench 和 HotpotQA 三个基准上做了测试,声称在单模型、相同预算的条件下,整体成本最多能降到原来的 1/35,评估次数最多能减少到 1/12。

推荐理由:开源项目 Levi 让本地 Qwen3-30B-A3B 跑起 AlphaEvolve 式搜索,作者在三个基准上测得同等预算下成本最多降至 1/35、评估次数减至 1/12。

6月8日星期一

r/LocalLLaMA

小米声称在标准8卡服务器上把1万亿参数模型跑到了每秒1000多个token

小米的MiMo团队发布了MiMo-V2.5-Pro UltraSpeed,说他们在单台8卡的标准服务器上,把一个1万亿参数的混合专家模型(MoE)跑出了每秒超过1000个token的输出速度。这个速度如果属实,确实挺夸张,因为它没用Cerebras那种整块晶圆做的定制芯片,也没用Groq那种靠大量片上内存堆出来的硬件,就是普通GPU服务器。

推荐理由:小米MiMo团队称在单台标准8卡服务器上把1万亿参数MoE模型跑到每秒超1000 token,未依赖Cerebras或Groq的定制硬件,可对照其与专用芯片路线的差异。

Hacker News 首页

小米发布 MiMo-V2.5-Pro-UltraSpeed,万亿参数模型跑到每秒 1000 个 token

小米和 TileRT 合作,把一个 1 万亿参数的大模型在 8 张普通 GPU 上跑到了每秒生成 1000 多个 token。他们用了两招:一是只对 MoE 专家模块做 FP4 量化,把模型体积和显存带宽压力打下来,同时保住推理质量;二是用了一种叫 DFlash 的投机解码方法,一次能猜对更长的 token 串,减少反复验证的等待时间。

推荐理由:小米与 TileRT 合作,用 FP4 量化 MoE 专家模块加 DFlash 投机解码,在 8 张 GPU 上把万亿参数模型生成速度提到每秒 1000 多个 token。

r/LocalLLaMA

Luce Spark:让 35B 的 MoE 模型在 16GB 显存上跑起来,不用忍受传统卸载的速度惩罚

Luce Spark 是一个开源方案,能让 Qwen3.6 35B-A3B 这种规模的混合专家模型在 RTX 3090 上只占 13.3 GiB 显存,跑出约 100 tok/s 的速度。

推荐理由:Luce Spark 让 Qwen3.6 35B-A3B 在 RTX 3090 上只占 13.3 GiB 显存并跑到约 100 tok/s,其做法是把常用专家留在 GPU、其余放内存并异步搬运,与计算重叠。

AI HOT 精选

小米 MiMo 在单台 8 卡服务器上把万亿参数模型跑到每秒 1000+ token

小米和 TileRT_AI 放出了一个叫 MiMo-V2.5-Pro-UltraSpeed 的版本,用一台普通的 8 卡 GPU 节点就跑起了 1 万亿参数的 MoE 模型,输出速度超过每秒 1000 个 token。这个速度不是靠 Cerebras 或 Groq 那种专用硬件堆出来的,对常规部署来说挺省钱。

推荐理由:小米与 TileRT_AI 用单台 8 卡 GPU 节点跑起 1 万亿参数 MoE 模型,输出速度超过每秒 1000 个 token,未依赖专用硬件,为常规推理部署提供了一条低成本路径。

r/LocalLLaMA

RTX 5090 跑 Qwen3.6-27B 实测:DFlash 投机解码加 KV 缓存压缩,速度提到 3.26 倍

作者在单张 RTX 5090 上跑了 Qwen3.6-27B,用 DFlash 做投机解码(让一个小模型先猜答案,大模型再核对,省时间),同时压缩 KV 缓存(把模型记住的上下文瘦身,省显存)。结果最高提速到 3.26 倍。用 q4_0/turbo4 量化时速度是原来的 3.18 倍,WikiText-2 上的困惑度只涨了 0.02%,基本没掉精度。

推荐理由:作者在单张 RTX 5090 上把 DFlash 投机解码与 KV 缓存压缩组合用于 Qwen3.6-27B,最高提速 3.26 倍,q4_0 量化下困惑度仅涨 0.02%。

r/LocalLLaMA

双卡 3090 跑 27B 模型,解码速度几乎翻倍,没插 NVLink 也做到了

一位 Reddit 用户拿 qwen3.6-27b-autoround-int4 模型做测试,对比单张 3090 和两张 3090 的表现。

推荐理由:Reddit 用户用两张 3090 在无 NVLink 的普通 PCIe 下跑 qwen3.6-27b 的 int4 量化版,解码速度相比单卡接近翻倍,为本地推理加卡提供了具体参考。

机器之心 · 公众号

openJiuwen 搞了个叫 MANGO 的多智能体流网络,让一群模型自己学会怎么组队干活

openJiuwen 提出了 MANGO,一个多智能体流网络框架。它把强化学习、文本梯度(用自然语言反馈来调模型)和 Skip-k 机制(跳过不靠谱的中间步骤)揉在一起,让一群模型自己学会怎么组队、怎么分工。

推荐理由:openJiuwen 提出 MANGO 多智能体流网络框架,把强化学习、文本梯度和 Skip-k 机制结合,让多个模型自行学习组队与分工。

机器之心 · 公众号

阿里 RTPurboV2:用几百步训练把注意力计算砍掉九成,原生 Transformer 又硬气了一回

阿里 RTP 团队发了 RTPurboV2,思路很直接:把模型里 85% 的注意力头换成滑动窗口注意力(SWA),剩下 15% 负责长距离检索的头用低秩投影、聚类和动态 top-p 压缩。适配训练只要大概 600 步、约 100 万条标注 token,Prefill 阶段推理加速最高到 9.36 倍。

推荐理由:阿里 RTP 团队把模型 85% 的注意力头换成滑动窗口注意力,适配训练约 600 步、100 万条 token,Prefill 阶段推理加速最高 9.36 倍。

AI HOT 精选

苹果发了第三代基础模型,一共五款,从手机端到云端都有

苹果在 2026 年 6 月 8 日公布了第三代 Apple Foundation Models(AFM),这次是和 Google 合作定制的。五款模型里,两款跑在设备上:AFM 3 Core 是 30 亿参数的密集模型,质量比上一代好。

推荐理由:苹果发布第三代 Apple Foundation Models,与 Google 合作定制,五款模型覆盖设备端和云端,其中设备端 AFM 3 Core 为 30 亿参数密集模型。

AI HOT 精选

英伟达和 SK 海力士签了多年协议,要一起设计下一代 AI 内存芯片

两家公司签了一份多年合作协议,打算从设计阶段就联手搞下一代 AI 用的内存芯片。目前公开的信息里没提具体产品规格、什么时候量产,也没说涉及多少资金。

推荐理由:英伟达与 SK 海力士签署多年协议,从设计阶段就联手开发下一代 AI 内存芯片,双方在 AI 内存供应上的角色让这一合作方向本身具备阅读价值。

6月7日星期日

r/LocalLLaMA

一台笔记本跑通 Qwen3.6 35B-A3B:我的本地模型“从零到一”时刻

一位 Reddit 用户分享了自己在笔记本上跑通 Qwen3.6 35B-A3B 的体验。他的机器是华硕 Zenbook Pro 14,配了 RTX 4060 8GB 显存和 64GB 内存。

推荐理由:一位 Reddit 用户在华硕 Zenbook Pro 14 上跑通 Qwen3.6 35B-A3B,机器配 RTX 4060 8GB 显存和 64GB 内存,为想在同类笔记本上部署大模型的人提供了具体硬件参考。