把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
作者开源了一个叫 Vulpine 的编译器，能把 Python 源码转成一种专门给代码模型看的紧凑表示。在约 1.3 万个留出测试文件上，token 用量平均减少了 14%，而且 99.8% 的情况下能无损还原回原本的抽象语法树结构。代码已经挂在 GitHub 上。不过正文没披露具体测试了哪些模型、省下的 token 对生成质量有没有影响，这点先别太激动。
推荐理由：这个 Vulpine 编译器把 Python 转成模型更容易消化的表示，实测能省 14% 的 token，往返还原成功率也高。我会先打个折：帖子没披露在真实下游任务里效果如何、编译速度多快、那 0.2% 的失败案例长什么样，所以目前只能当个有潜力的早期实验看。但思路本身对压降代码 agent 的推理成本有参考价值，数字也给了，值得从业者扫一眼。
Miso One 放出了一个 8B 参数的开源 TTS 模型，主打一次语音克隆——给它一小段音频样本就能模仿那个人的说话风格和节奏。推理延迟标称 110ms，对实时对话场景算可用。模型权重直接挂在 GitHub 上，你可以自己部署，音频数据不用上传到第三方服务器。官方说 API 之后会出，但正文没提价格和上线时间。
推荐理由：我会先打个折：这是单条推文来源的发布，没有跑分对比、没写许可证细节、也没有第三方复现结果。但8B参数、110ms延迟、能自托管的一次语音克隆这几个事实本身够硬，放在featured刚好，再往上就缺验证了。
微软在模型发布卡里加了个新指标：平均 token 用量。他们的新模型在 SWE-Bench Verified 上拿了 71.6 分，但消耗的 token 只有 Claude Haiku 4.5 的三分之一。这意味着现在衡量模型得看两个维度：活儿干得怎么样，以及干这活儿花了多少钱。靠烧 token 刷榜、靠补贴打价格战的时代在翻篇。Uber 四个月烧光预...
推荐理由：H、K、R 三条都站得住。用“跑分除以 token 消耗”当钩子，比单纯报分数更让人想点进去看。71.6 分和三分之一的 token 量是实打实的新信息。不过文章没给出完整的测试配置和具体定价对比，所以重要性停在 78 分，我会先打个折，不往更高拉了。
微软 Build 大会上，两家宣布把 AI 部署的底层打通了。简单说，就是同一个 AI 应用，既能在你笔记本的 RTX 显卡上跑，也能无缝切到 Azure 云或者公司本地的 DGX 工作站上，不用重写代码。现场还亮了两款新硬件：RTX Spark 是个小盒子，能提供 1 petaflop 的 AI 算力（大概相当于每秒一千万亿次计算）；DGX Stat...
推荐理由：HKR 三项都过了。NVIDIA 和微软这次合作，把 agent 部署从 Windows 到 Azure 再到本地串成一条线，还亮出了 1 petaflop 和 20 petaflops FP4 两个硬件规格，对从业者来说有信息增量。不过消息源是厂商自己，正文没给定价、跑分和迁移细节，所以分数没往上拉。
有人在 RTX 4060 Ti 16GB 上实测了 Gemma 4 E4B 模型。用 LiteRT 引擎跑文字生成，平均每秒能出 157.2 个 token，而用 llama.cpp 的 Q4 GGUF 格式只有 66.3 tok/s，快了大约 2.4 倍。不过图片标注任务就没这么乐观了：处理 111 张全分辨率图片，LiteRT 耗时约 72 秒，Q...
推荐理由：这是一篇个人在 Reddit 上发的实测，不是官方报告，权威性有限，所以分数没往上拉。但 H、K、R 三项都站得住：速度对比抓眼球，测试条件和数据都写清楚了，对想在自己机器上跑 Gemma 的人有直接参考价值。我会先打个折，因为只有单卡单次测试，没提功耗和精度变化，但作为一手体验已经够用。
这篇帖子本身被 Reddit 的安全策略拦住了，正文内容没抓到，只留下一个“被网络安全屏蔽”的提示。从标题和已有的英文摘要看，作者用 LM Studio 的接口测了 20 个小模型，统一在 6GB 显存的 RTX 4050 上跑，每个模型在 1k、8k、32k 三种上下文长度下各测了 5 次速度。目前能看到的唯一具体数据是 unsloth/lfm2.5...
推荐理由：我会先打个折，来源是 Reddit 帖子，权威性一般，但内容本身很实在。作者没搞虚的，就是拿 20 个模型在 LM Studio 里用 6GB 4050 实测，把速度、显存占用都列出来。对想本地跑小模型的人来说，这比看论文里的 A100 数据有用得多。正文没披露测试用的量化精度和具体 prompt，这点信息缺口让结论不能直接照搬，但作为一张低显存显卡的参考表，已经够用了。
H公司把他们的电脑操作模型升级到了 Holo3.1，这次主打的是“哪里都能跑”。模型基于 Qwen 系列，一口气放出 0.8B、4B、9B 和 35B-A3B 四个尺寸，并且首次提供了 FP8、Q4 GGUF 和 NVFP4 这些压缩版本，方便直接在个人设备上做本地推理。35B-A3B 的旗舰版在 AndroidWorld 测试里拿到了 79.3% 的...
推荐理由：Holo3.1 把电脑操作智能体做成了本地可跑的版本，而且最小模型只有 0.8B 参数，对想在个人设备上试水的开发者来说门槛很低。四个尺寸加三种量化格式一起发，部署灵活度拉满，不是只给一个玩具。我会先打个折：正文没披露具体任务成功率或延迟数据，所以实际效果还得自己测。但就凭本地运行和量化支持这两点，已经够让做私有化部署的人点进去看了。
Alphabet 宣布了一轮约 800 亿美元的融资计划，用来扩建 AI 算力。钱怎么来：承销股票、强制性可转换优先股、伯克希尔 10 亿美元私募配售，外加一个 400 亿美元的 ATM 计划（其中大概 300 亿跟员工股权行权扣税有关）。这个数字比它过去 28 年七次主要股权融资加起来还多十倍。市场把这当成一个看涨信号——大家觉得 AI 的瓶颈已经从...
推荐理由：我会先打个折：消息源只有一条推文，正文没披露官方公告或监管文件，具体条款和进度都还没法核实。但800亿这个量级加上伯克希尔入局，确实把AI算力竞赛的融资压力摆到了台面上。结构写得清楚，不是笼统说“要筹钱”，而是把承销、优先股、私募、ATM四块都列出来了，从业者一看就知道这是在用组合拳扛capex。这点先别太激动，等有正式文件再判断落地概率，但话题本身已经够硬。
英伟达要在今年秋天把一台叫 RTX Spark 的 Windows 电脑推向市场。这台机器把一块 Blackwell 架构的 RTX 显卡和一颗 20 核 Arm 架构的 Grace CPU 焊在一起，通过 NVLink-C2C 高速互联，共享 128GB 统一内存。官方给出的 AI 算力是 1 petaflop，号称能在本地跑起 1200 亿参数、上...
推荐理由：英伟达把RTX Spark搬进Windows PC，不是发新模型，而是给开发者一台能本地跑120B模型的机器。1 petaflop算力和128GB统一内存这些数字，说明它想解决本地跑大模型内存不够、上下文装不下的痛点。对从业者来说，这意味着可以省掉一部分云端推理成本，延迟也更可控。不过正文没提具体功耗和价格，实际性价比还得等上市再看。整体是硬件产品更新，不是基础模型发布，所以分数落在78到84之间。
墨芯人工智能刚拿了一笔近 10 亿人民币的 C 轮融资。他们做的是 AI 推理芯片，主打稀疏计算，简单说就是只算有用的部分来省电省时间。正文提到他们的 S30 和 S40 卡在 MLPerf 推理测试里拿了三连冠，但没展开说具体跑什么模型、跟谁比。下一代卡叫 SparsePrime，计划年内发布，目前还没公布详细规格和定价。
推荐理由：我会先打个折：这是一条融资加路线图消息，不是产品实测。墨芯拿了近10亿，计划年内出SparsePrime，还说自己S30、S40在MLPerf推理上三连冠——但正文没放具体分数和对比基线，这点先别太激动。对在找国产推理卡、被Token成本压着的团队来说，这条值得放进雷达，但下单前得等真机跑分和量产时间。
这个模型用了多矩阵分解注意力，把 KV-cache 的占用压到 DeepSeek 同类模型的 22% 左右，显存压力小很多。另外还把注意力和前馈网络解耦，方便在硬件上跑得更顺。模型走 Apache 2.0 协议，已经在 Fireworks AI 上可用，官方说能用来搭智能体应用。不过正文没给出具体跑分和延迟数据，实际效果还得看第三方实测。
推荐理由：HKR 三项都站得住：Step 3.7 Flash 有 196B MoE 和约 22% KV-cache 成本的具体数字，不是纯宣传稿。不过它还没到一线旗舰模型的体量，所以给 78 分放在 featured 里。
Wirescreen 翻查了 2019 到 2025 年的 3800 份采购记录，发现超过 500 次中国军方单位直接点名或按规格要求采购英伟达 A100、A800、H100、H800 等芯片。这些招标涉及核爆模拟、网络攻击和兵棋推演，但文件只记录了供应商承诺供货，没写最终有没有交付。英伟达反驳说军方要的量远低于训练大模型所需的十万颗级别，而且招标里也...
推荐理由：HKR 三项都成立：NYT 和 Wirescreen 拿到的记录集给军方对英伟达芯片的需求加了硬数字。正文没确认最终交付，所以这事还不到新政策动作或公司公开声明的级别。
彭博这条视频报道说，至少七所支持中国军队和国防工业的高校正在想办法搞到英伟达 H200 芯片。正文没披露具体采购渠道、数量，也没说美国出口许可那边是怎么处理的。
推荐理由：Bloomberg 给出了“至少 7 所”这个可引用的新事实，让传闻落了地。但正文没披露怎么买、买多少、美国批没批，所以信息增量有限，只能给到 74 分 featured 这一档。
OpenRouter 的统计显示，从 2025 年到现在，开源权重模型拿走了平台上 69.1% 的 token 用量，闭源模型只占 30.9%。每次有新模型扎堆发布，用量就会跳上一个新台阶。领跑的模型换得很快：DeepSeek 早期领先，随后被 MiniMax 和 Kimi 接棒，接着 MiMo、Qwen、阿里开源系列、腾讯混元 Hy3 和 DeepS...
推荐理由：我会先打个折：OpenRouter 的数据只反映开发者调用偏好，不代表企业实际部署比例，这点先别太激动。但 69.1% 这个数字确实说明开放模型在开发者圈子里已经成了默认选项，闭源模型反而像备胎。文章没披露样本量和统计口径，所以没法判断这个份额波动是真实迁移还是噪音。整体是一篇有数据支撑的行业观察，不是公关稿，值得从业者扫一眼。
彭博翻了一批采购记录，发现至少七所跟中国军方和国防工业有联系的大学在求购英伟达 H200 芯片。H200 是英伟达目前性能很靠前的一块 AI 训练/推理卡，美国对它出口中国有管制。报道没写这些采购最终有没有成交、通过什么渠道拿货、数量有多少，只是点出了“有人在要”这个事实。我会先打个折：有采购意向不等于已经到手，也不等于直接用于武器研发，但信号很明显—...
推荐理由：我会先打个折：正文说的是“寻求采购”，不是确认成交或政策变动，所以别直接当成芯片已经到手。但 Bloomberg 拿采购记录说话，列出至少 7 所有军方联系的高校在盯 H200，这比泛泛而谈的“可能流向军方”硬得多。对从业者来说，这条消息的价值在于把出口管制下的算力焦虑具象化了——谁在想办法囤卡、用什么渠道、盯的是哪款型号，都摆出来了。信息缺口也很明显：没披露这些采购请求最终有没有获批、实际交付了多少，这点先别太激动。
英特尔在 Computex 2026 上推出了新显卡 Crescent Island，用的是 Arc Xe 3P 架构。最抓眼球的配置是最高能堆到 480GB 的 LPDDR5X 显存，这对想在本地跑大模型的人来说，意味着能塞进更大的模型，不用频繁地往硬盘里倒腾数据。整卡功耗标了个 350W 风冷，不算低，但还在单卡能压住的范围。它支持的数据格式从原生...
推荐理由：HKR 三项都成立：480GB 显存这个数字本身就是强钩子，硬件细节够具体，而且精准踩中了推理成本和显存焦虑。不过价格、上市时间和实际性能跑分正文都没提，所以分数就停在 78–84 这个区间，先别太激动。
Ethan He 在 NVIDIA 做完 Cosmos 世界模型后跳到了 xAI，带着一个小团队三个月就做出了 Grok Imagine。他有个很直接的观点：视频模型现在的智能主要来自语言模型，不是靠堆视频数据训练出来的。下一个 Sora 级别的突破不会是更好的视频生成模型，而是能规划、生成、修改、反复打磨一个完整创意任务的视频智能体。这期播客聊了从零...
推荐理由：我会先打个折：这篇是访谈级别的信号，不是论文或产品发布。它给了“三个月小团队从零搭建”这个事实，也点出了视频 Agent、音视频对齐和推理加速这几个方向，但正文没披露任何基准分数、具体成本数字或可复现的测试方法。所以它更像一份来自 xAI 内部的路线图预告，能帮你判断他们在往哪使劲，但暂时没法拿来做技术选型。对关注视频模型和多模态 Agent 的人来说值得扫一眼，别当结论用。
作者 Nathan Lambert 的核心判断是：在编程智能体这类对智商极度敏感的场景里，用户会一直为最聪明的闭源模型付高价，他自己就愿意每月掏 2000 美元。闭源实验室会逐渐把最好的模型藏起来，不在 API 里轻易放出，以保护利润和防止被蒸馏。他预测 5 到 10 年内，OpenAI 和 Anthropic 的估值会到 2 万亿到 10 万亿美元，...
推荐理由：我会先打个折，这是一篇个人评论，不是系统研究，所以重要性停在 featured 门槛附近是合理的。但它的 HKR 三项都站得住：观点有明确的冲突框架（h），给出了可引用的价格和估值数字（k），讨论的议题正好是当下圈子里吵得最凶的那几个（r）。正文没披露这些估值模型的具体假设，所以数字本身先别太激动，但它们作为讨论的引子够用了。
OpenAI 联合 Oracle 等伙伴，在密歇根州 Saline 市破土动工一个叫“The Barn”的数据中心园区，总供电容量 1GW。官方承诺电费不会转嫁给当地居民，冷却系统用的是闭环设计，耗水量跟一栋普通办公楼差不多。项目预计带来超过 2500 个工会建筑岗位和 450 个长期现场岗位，还会向当地娱乐中心捐 1000 万美元，并在租期内产生约 ...
推荐理由：这条消息的钩子够硬：OpenAI 直接亮出 Stargate 在密歇根的 1GW 数据中心。1GW 这个数字说明供电规模很大，对推理和训练都有想象空间。但正文没给投资额、没给工期、也没说里面塞什么 GPU，信息缺口很明显。我会先打个折，因为缺的这些关键参数让实际落地时间表和成本结构都悬着，不能直接当投产新闻看。对从业者来说，这更像一个信号——OpenAI 在自建算力底座上继续加码，但离真正跑起来还有多远，正文没交代。
一位 Reddit 用户用两台华硕 GX10（DGX Spark）组了个小集群，通过 vLLM 加载 DeepSeek-V4-Flash 模型。在 256K 上下文窗口、开启多 token 预测（MTP=2）的设置下，测得预填充速度 1680 token/s，解码速度 39.8 token/s。部署用了张量并行（TP=2），两台机器通过 RoCE 网络...
推荐理由：这不是行业大新闻，但胜在是第一手实测，配置细节都给了：TP=2、RoCE 网络、fp8 KV 缓存、256K 上下文，还估出了约 1M tokens 的安全 KV 上限。对想对比自己机器性能的人来说，这些数字比官方宣传实在。HKR 三项都踩中，放在低 featured 位置刚好。