把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
这篇论文提出了一种叫 EDCO 的动态课程微调方法，核心是用模型推理时的“熵值”来判断样本难度，自动挑出当前模型最该学的数据，而不是靠人手动分阶段。他们搞了个前缀熵值估算，把每一条样本的评分时间从 2.24 秒压到了 0.37 秒，省了不少算力。文章本身因为微信环境异常没抓到正文，具体实验数据、在什么任务上验证的、以及 Amazon/Google 团队...
推荐理由：我会先打个折：这还是个训练方法论文，不是模型或产品发布，所以分数没给更高。但它的钩子很足——华为提出 EDCO，用推理熵动态挑样本，Amazon 和 Google 的人光速跟进，说明这个方向在圈内被盯上了。核心卖点是前缀熵估计，把单样本耗时从 2.24 秒砍到 0.37 秒，省了八成多时间，对做微调的人来说是实打实的成本优化。正文没披露这个方法在大规模多任务上的泛化验证，这点先别太激动，但思路本身对数据筛选和训练成本敏感的场景很有启发。
作者用 7 张混插显卡（RTX PRO 6000、PRO 5000、两张 5090 和三张改显存的 4090）测了三个推理引擎处理长上下文的效率。在 Qwen3.5-397B-A17B 模型上塞进 7.5 万 token 的上下文，vLLM 首 token 延迟 9.8 秒，预填充速度 7683 token/秒；llama.cpp 要 57.2 秒，速...
推荐理由：作者在 7 卡混合集群上测长上下文预填充，397B 模型塞进 75k tokens，vLLM 9.8 秒出第一个 token、跑到 7683 t/s，llama.cpp 要 57.2 秒、只有 1319 t/s。我会先打个折：这是单人单次跑分，没披露 prompt 复杂度、batch size 和精度配置，SGLang 的数据也没给全。但 6 倍的 TTFT 差距和近 6 倍的吞吐差距，对正在选推理框架的团队是个硬参考。正文没提功耗和显存占用，这点先别太激动。
一位 Reddit 用户用 24GB 内存的荣耀 Magic 7 Pro（骁龙 8 Elite）跑了几个混合专家（MoE）模型。在 Q4 量化下，LFM2-24b-a2b 跑到约 24 token/秒，Gemma 约 11 token/秒。比较意外的是，他这套配置里 CPU 推理速度比 NPU 和 GPU 都快，正文没披露具体用的什么推理框架和功耗数据...
推荐理由：这条来自 Reddit 个人测试，不是官方数据，权威性弱，但信息量够：24GB 手机、Q4 量化、LFM2-24b-a2b 跑 24 token/s、Gemma 跑 11 token/s，CPU 比 NPU/GPU 快。对想在手机上本地部署的人有参考价值，不过只有一台设备的数据，别当普遍结论。给 featured 低分段，因为话题热、数据具体，但来源单一。
蔚蓝科技发了款消费级机器狗 BabyAlpha A3，用六颗芯片搭了个异构计算集群，直接在本地跑 7B 参数的大模型，推理速度到 280 TPS。视觉上配了 6600 万像素的摄像头，每秒能扫出 223.2 万个点云数据点，计划第三季度上市。不过正文因为环境验证没抓到具体内容，上面这些数字都来自外部摘要，实际表现和定价还没法核实。
推荐理由：我会先打个折：正文是单篇产品发布稿，没披露功耗、价格和对比基准，所以别太激动。但这条消息确实有料——蔚蓝科技在机器狗里塞了6颗芯片搭异构集群，本地跑70亿参数模型，推理速度标到280TPS，Q3就要上市。对做端侧部署和机器人的人来说，这等于给“离了英伟达行不行”提供了一个实物样本。信息缺口也很明显：没写具体芯片型号、没给功耗数据、没说明280TPS是在什么精度和batch size下测的，这些都会影响实际可用性。综合来看，角度抓人、事实具体、但验证信息不足，放在featured门槛上刚好。
一位用户自己跑了 55 组本地推理测试，覆盖 Strix Halo、RTX 3090 和 RTX 5070 三块卡、五种推理后端，模型从 0.35B 小不点到 35B-A3B 混合专家都有。结论很直接：能塞进 12GB 显存的模型，RTX 5070 比 RTX 3090 快；但到了 14B 到 31B 这个区间，模型超过 12GB 又刚好能装进 24G...
推荐理由：这篇值得看，因为作者没抄官方数据，自己跑了 55 组对比。我会先打个折：来源是 Reddit 单人帖，不是严格受控实验，但结论很实用。12GB 显存以内 RTX 5070 解码比 3090 快，14B 到 31B 模型区间 3090 反超，说明大模型推理 3090 的大显存优势还在。Strix Halo 的加入让 AMD 方案也有了参照。正文没披露功耗和价格，所以别直接当购买建议，但作为选卡参考够直接。
这篇笔记聊了两件事：预训练为什么容易跑崩，以及怎么把训练拆到多张 GPU 上。跑崩的核心原因有两个——破坏因果性和引入偏差。比如 MoE 路由里用专家选择（expert choice）分配 token，会让 token n 的去向依赖 token n+k 的路由结果，训练时看到了推理时看不到的信息；token 丢弃也会让后面的 token 影响前面的处...
推荐理由：Dwarkesh 这期笔记把预训练里容易翻车的地方摊开讲：expert choice 和 token dropping 会破坏因果性，FP16 集体通信能把一万次累加算偏，这些坑不踩过很难意识到。我会先打个折——它更像从业者之间的经验交换，不是系统性的技术报告，但给的数字（6ND、288GB、参数量×3）对算成本和排故障都有用。正文没展开具体实验验证，所以别当定量结论用。
Cerebras 这次 IPO 收盘市值 600 亿美元，算是给坚持做大芯片的团队一个交代。CFO Bob Komin 公开说他们已经在服务万亿参数级别的模型，点名了 OpenAI 内部用的 5.4 和 5.5 版本，想打破“只适合小模型”的标签。不过正文没披露这些工作负载占多少流量、延迟在什么水平、单 token 成本多少，也没提晶圆供应受限的具体影...
推荐理由：Cerebras上市冲到600亿美元市值，CFO Bob Komin放话说他们已经在跑万亿参数的模型了，还点名了OpenAI内部用的5.4和5.5。我会先打个折：正文没披露5.4/5.5的具体规模、训练成本或实际性能，也没说Cerebras在这类模型里占多大份额，所以“服务万亿参数模型”更像一张路线图门票，别直接当成收入证明。但这条消息把IPO热度、算力硬件竞争和前沿模型进展串在一起，对关注推理芯片和训练基建的人挺有嚼头。
这个工作把 Qwen3-8B 的原始参数完全冻住，只额外训练一个扩散注意力头，让模型一次前向能生成多个 token，最高做到 7.8 倍。在 MATH-500 上实测 wall-clock 速度大约快了 6 倍。训练只动了 16% 的参数，用了不到 10 亿 token 的数据，在 8 张 H200 上跑了 24 小时。论文声称输出分布和原模型在数学上...
推荐理由：我会先打个折：这是单篇 Reddit 研究发布，没有论文或第三方复现，验证强度偏弱。但信息量够用——在 Qwen3-8B 冻结主干上加扩散注意力头，只训 16% 参数，8 张 H200 跑一天，MATH-500 上 token 吞吐最高提到 7.8 倍，墙钟时间约快 6 倍，而且输出分布可证明不变。这点先别太激动，正文没披露其他 benchmark 和更长序列下的表现，但推理加速和一致性这两点对本地跑模型的从业者来说很实在，所以放在 featured 里当个信号看。
Cerebras Systems 在纳斯达克上市，是今年规模最大的 IPO。股价当天涨了约 68%，把公司市值推到了大约 670 亿美元。按这个市值算，CEO 手里的股份值 32 亿美元。这条是视频新闻，正文没披露具体的发行价、募资金额和公司营收数据，所以没法判断这个估值到底贵不贵。
推荐理由：Cerebras 这次 IPO 给 AI 算力生意标了个公开市场价：首日涨 68%，市值冲到约 670 亿美元。Bloomberg 这条是财富视角的短视频，不是技术深稿，所以信息量就这么多——正文没披露营收、毛利率或客户集中度，估值逻辑没法细拆。我会先打个折：数字好看，但别急着把它当成行业转折点。
一个叫 Sparky 的行李箱机器人，核心是一块 Jetson Orin NX SUPER 16GB 的板子，跑的是 Gemma 4 E4B 模型（Q4_K_M 量化版，用 q8_0 做 KV 缓存）。首次响应延迟大概 200 毫秒，生成速度每秒 14 到 15 个 token，上下文窗口 12K。身上挂了 30 多个传感器，但没装 WiFi、蓝牙和蜂...
推荐理由：这是个 Reddit 上的个人项目帖，不是产品发布或论文，所以放在低 featured 档。我会先打个折：200ms 的缓存首 token 延迟和 14-15 tok/s 的生成速度，在 Jetson 上跑 4B 模型算是能用的水平，但别指望它反应飞快。30+ 传感器听起来唬人，正文没细说都是什么传感器、怎么融合的，这点先别太激动。真正有意思的是全离线跑 Gemma 4 E4B 还让机器人带“观点”，把本地推理做成了人格化交互，比单纯报参数好玩。
X 在 GitHub 上公开了“For You”信息流的推荐管道，代码、预训练模型和内容理解服务都给了。核心是一套叫 Phoenix 的 Transformer 模型，基于 Grok 架构，负责给候选帖子打分。它会看用户最近跟谁互动，同时预测点赞、回复、转发这些行为的概率，揉成一个相关性分数。排序前会先捞候选内容，补上上下文，再让模型评分，最后做多样性...
推荐理由：HKR 三项都踩中了，但正文只说了开源和 Phoenix Transformer 打分机制，仓库细节、许可证、能不能复现都没提，所以先给 featured 里偏低的位子。
作者搭了一个客服用的外挂资料库（RAG）问答机器人，用模型当裁判打分，把质量分从 6.62 拉到了 7.88，同时单次会话成本从 $0.002420 砍到 $0.000509，降了将近八成。最反直觉的发现是：最贵的模型反而是表现最差的。真正起作用的动作包括给检索环节加日志、对召回的资料块做去重、收紧模型回答时对资料的依赖程度，以及用五款模型做了一轮横向...
推荐理由：我会先打个折：这是个人实验，不是大规模生产验证，样本量和场景都有限。但作者把调优过程拆得很细，从最贵的模型翻车开始，一步步讲怎么换模型、调检索参数、改 prompt，最后质量涨了成本还大降。对正在搭外挂资料库问答的工程师来说，这些实操细节比论文里的基准分有用得多。正文没披露具体用了哪些模型和评估集，这点有点可惜，但不妨碍它作为一份诚实的调参笔记入选。
一位 Reddit 用户分三次跑了超过一百万 token 来测 Qwen3.6-35B-A3B 的多 token 预测（MTP）版本，上下文拉到 300k，量化用 KV Q8_0。他给出的结论是生成速度大概比之前测过的版本快了 1.5 倍。不过帖子正文被 Reddit 的安全策略挡了，看不到具体测试环境、硬件配置和任务类型，所以这个提速是在什么条件下跑...
推荐理由：一个 Reddit 用户拿 Qwen3.6-35B-A3B MTP 版跑了三轮百万 token 的测试，在 300k 上下文、KV Q8_0 量化下，速度大概是旧测试的 1.5 倍。这个多 token 预测版（一次预测多个 token）确实在本地跑出了可感知的加速，但正文没披露功耗、显存占用和不同量化级别的对比，所以这个 1.5 倍先别太激动，得看自己硬件上复现怎么样。帖子本身有细节、有实测，对想省钱跑长上下文的开发者有参考价值，但毕竟只是单篇个人测试，重要性我给 74。
OpenAI 的首席财务官 Sarah Friar 公开表示，公司刚完成她所说的“史上最大私募融资”之后，可能还需要继续找钱，原因是算力缺口还在扩大，跟不上 AI 需求的增长速度。不过这篇报道的正文没有披露上一轮的具体金额、下一轮的目标规模和时间表，所以“最大”到底有多大、这次要融多少，目前都还不清楚。
推荐理由：我会先打个折：正文没披露具体金额、投资方和时间表，所以这不是一个落地的融资消息，更像 CFO 在放风试探市场。但 OpenAI 这种体量的公司，在拿到最大一笔私募钱之后还公开说不够用，本身就说明算力缺口比外界想的还大。对从业者来说，这意味着模型训练和推理的成本短期内不会降，算力租赁和自建集群的账要重新算。分数留在 featured 低位是合理的，因为信息不够实，但信号够强。
微软企业发展负责人在庭审中确认，公司对 OpenAI 的总投入已超过 1000 亿美元。这笔钱里，130 亿是直接给的原始投资，其余大部分是 Azure 云服务的基建和托管成本，而且很多钱是在 OpenAI 开始给微软分成之前就花出去了。作为回报，到 2025 年为止，微软通过集成 OpenAI 技术和 OpenAI 自身的云消费，总共创造了约 300...
推荐理由：这篇不是产品发布，而是把微软和 OpenAI 的财务底牌亮了出来。我会先打个折：1000 亿是累计投入，不是一次性烧掉的，但配上“没人下注”这句话，故事性就出来了。三个数字——投入、营收、分成上限——把合作的经济账讲得比较实，没有画饼。对从业者来说，这关系到 OpenAI 的算力成本会不会继续被微软掐着、云绑定有多深，以及微软自己怎么算这笔 ROI。正文没披露 300 亿营收的具体构成，这点先别太激动，但整体信息密度够，放在 featured 没问题。
Tom Tunguz 把 Datadog 和 Twilio 这类公司叫做“推理的一阶导数”——它们不直接卖模型推理算力，但客户跑 AI 跑得越猛，它们就赚得越多。Datadog 的 LLM 监控数据量一个季度几乎翻倍，6500 个 AI 客户只占总客户数的 20%，却贡献了约 80% 的年化收入。Twilio 则因为 AI 原生公司和传统企业都在用语音...
推荐理由：Tom Tunguz 把推理增长和 Datadog 的用量、收入集中度数据绑在一起讲，比纯评论多了数据支撑。文章是评论性质，没有新模型或产品发布，所以分数停在 72–77 这个区间。我会先打个折，因为 2500 亿这个数字正文没给具体测算逻辑，只能当方向性判断看。
一个减少长提示首 token 延迟的实用技巧。在用户请求到达前，先单独发一次系统提示给 Claude，让它把提示写进缓存，但跳过输出。等真实请求进来时，缓存已经热好，直接命中，省掉重复处理长提示的时间。正文没披露具体提速多少，但思路很直接，适合系统提示固定、用户提示多变的场景。
推荐理由：Claude API 搞了个提示预缓存，相当于提前把系统提示塞进缓存里热着，真实请求一来就能省掉首令牌的等待。正文没给出具体能省多少毫秒，也没说缓存能热多久、会不会额外计费，所以省钱效果先打个折看。整体是个实用的推理优化小更新，不是模型能力或大版本发布，放在 featured 里当个中等权重的消息刚好。
彭博科技 5 月 14 日的节目提到，AI 芯片公司 Cerebras 已经上市，是今年规模最大的 IPO。不过视频片段和文字摘要都没给出具体数字——融了多少钱、估值多少、发行价和交易所全都没提。想判断这笔交易到底有多大，还得等后续的公开文件。
推荐理由：Bloomberg Tech 只给了个标题，说 Cerebras 完成了今年最大规模的 IPO，但正文没写到底融了多少钱、估值多少、发行价多少、在哪上市。我会先打个折——信息缺口太大，没法判断市场实际反应。不过 Cerebras 上市本身对 AI 芯片赛道是个信号，尤其在大家盯着谁能跟 Nvidia 掰手腕的时候，所以这条还是值得放出来，但别对细节太激动。
Cerebras 的股票周四在纽约收盘报 311.07 美元，比 185 美元的发行价高出 68%。这次上市一共融了 55 亿美元，是 2026 年目前为止规模最大的 IPO。正文没披露这 55 亿具体怎么花，也没提公司目前的营收或亏损情况。涨这么多说明市场现在对非英伟达路线的 AI 芯片兴趣很大，但单日涨幅受情绪影响重，我会先打个折看后续季度表现。
推荐理由：Cerebras 这次上市给 AI 算力市场扔了个公开报价：首日涨 68%，募了 55 亿美元，收盘 311 美元，比 185 美元的发行价高出一大截。我会先打个折——首日涨幅受情绪影响大，不代表长期估值稳，但至少说明公开市场现在愿意为“非英伟达”的 AI 推理芯片掏真金白银。正文没披露具体营收或客户集中度，这点先别太激动。对从业者来说，这条消息的价值在于：AI 芯片供应格局可能出现第二个可选项，后续要看它能不能在推理场景里把成本优势做实。
Cerebras 的 IPO 让 CEO Andrew Feldman 手里的股份值 32 亿美元。这是今年到目前为止规模最大的上市。Feldman 之前卖过三家公司，还带过另一家上市，正文没披露这次 IPO 的具体发行价、募资额、公司总估值和发行股数。
推荐理由：Cerebras上市把CEO身家推到32亿美元，标题说是今年最大IPO，这个信号对AI硬件赛道挺重要。但正文没披露发行价、募资额和估值，我会先打个折——光看身家数字不够，缺交易细节让这条消息的参考价值打了折扣。