把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
OpenAI 在 5 月 7 日公开了对美国能源部的回应，核心诉求就三条：联邦土地拿出来建 AI 超算园区、审批流程要走快速通道、用优惠电价和税收减免帮私人投资兜底。第一个 Stargate 园区已经在得州 Abilene 动工，更多选址还在得州和其他州评估，但具体租金、电价折扣、税收条款正文都没披露。
推荐理由：OpenAI 向美国能源部提出联邦供地、加速审批和电价税收优惠三项诉求，得州 Abilene 的 Stargate 园区已动工，呈现 AI 算力扩张与联邦能源政策衔接的具体路径。
Mistral AI 发布 Le Chat Enterprise，一款由全新 Mistral Medium 3 模型驱动的企业级 AI 助手，包含企业搜索、Agent 构建器、自定义数据与工具连接器、文档库、自定义模型和混合部署等功能，全部功能将在未来两周内逐步上线。
推荐理由：Mistral AI 发布企业级 AI 助手 Le Chat Enterprise，由 Mistral Medium 3 模型驱动，支持企业搜索、Agent 构建与自托管部署，全部功能将在两周内上线。
Mistral AI 发布 Mistral Medium 3，称其在各项基准上达到或超过 Claude Sonnet 3.7 的 90%，成本为每百万 token 输入 $0.4、输出 $2。
推荐理由：Mistral Medium 3 以更低成本对标 Claude Sonnet 3.7，并给出企业私有化部署与定制路径。
OpenAI 宣布完成 400 亿美元融资，投后估值 3000 亿美元。这笔钱主要用来扩建算力基础设施，以及给每周 5 亿人用的 ChatGPT 开发更强功能。软银是这轮的关键合作方。公告没提钱分几批到账、有没有对赌条款，也没说具体产品路线图，AGI 的说法比较笼统。
推荐理由：OpenAI 完成 400 亿美元融资，投后估值 3000 亿美元，资金主要投向算力基础设施和 ChatGPT 功能开发，软银是这轮的关键合作方。
Mistral AI 推出新版 le Chat，上线 iOS、Android 应用及 Pro、Team 服务，并开放 Enterprise 私有预览。新版提供代码解释器、文档分析和图像生成，Flash Answers 向所有用户开放预览，官方称速度可达 ~1000 words / sec；多数功能免费，Pro 起价为 $14.99 per month。
推荐理由：Mistral AI 为 le Chat 增加移动端和企业部署选项，让个人日常使用与企业自有环境中的工作接入有了不同入口。
Mistral AI 发布面向低延迟任务的 24B 模型 Mistral Small 3，以 Apache 2.0 许可开放预训练和指令微调检查点。官方称其性能与 Llama 3.3 70B instruct 相当，同硬件下速度超过 3x，MMLU 准确率超过 81%；模型未使用 RL 或合成数据训练。
推荐理由：Mistral AI 将 Small 3 的性能对标 Llama 3.3 70B，并报告同硬件下超过 3x 的速度优势。
OpenAI 发了个新方法叫 sCM，把连续时间一致性模型的训练搞稳定了，直接扩到 15 亿参数，在 512×512 的 ImageNet 上跑。它只用两步采样，出图质量就能跟现在最好的扩散模型打平，单张 A100 上 0.11 秒出一张图，比扩散模型快大约 50 倍。论文里对比了有效算力，sCM 花不到 10% 的算力就拿到差不多的 FID 分数。
推荐理由：OpenAI 把连续时间一致性模型扩到 15 亿参数，两步采样在 ImageNet 512×512 上质量追平扩散模型，单张 A100 出图 0.11 秒，算力不到扩散模型 10%。
OpenAI 宣布完成 66 亿美元融资，投后估值 1570 亿美元。钱会花在前沿 AI 研究、增加算力和继续做产品工具上。现在 ChatGPT 每周有超过 2.5 亿人在用。正文没披露具体投资人名单、持股条款，也没说算力具体会扩到多大规模。
推荐理由：OpenAI 完成 66 亿美元融资，投后估值 1570 亿美元，资金投向前沿研究、算力和产品工具，ChatGPT 周活已超 2.5 亿。
OpenAI 给 GPT-4o、GPT-4o mini、o1-preview 和 o1-mini 的 API 加上了自动提示词缓存。只要你的请求里有一段超过 1024 个 token 的前缀最近被用过，系统就会自动命中缓存，这部分输入 token 的价格直接减半。缓存从 1024 token 起步，按 128 token 的粒度往上加。
推荐理由：OpenAI 为 GPT-4o、o1 等模型的 API 加入自动提示词缓存，超过 1024 token 的重复前缀可让输入费用减半，长上下文与固定系统提示场景的成本结构随之改变。
OpenAI 在 2024 年 8 月 6 日上线了 Structured Outputs 功能，模型能严格按开发者提供的 JSON Schema 输出，不再只是生成合法 JSON 就完事。新模型 gpt-4o-2024-08-06 在复杂 schema 测试里拿了 100% 的准确率，而老模型 gpt-4-0613 不到 40%。
推荐理由：OpenAI 上线 Structured Outputs，让模型严格按开发者给的 JSON Schema 输出，新模型在复杂 schema 测试中准确率 100%，旧模型不到 40%。
DeepSeek API 上线硬盘缓存技术，价格再降一个数量级。更新详情见文档 https://api-docs.deepseek.com/zh-cn/updates#api-上线硬盘缓存技术 。
推荐理由：DeepSeek API 采用硬盘缓存并将价格再降一个数量级，使这项缓存技术更新的直接影响落在 API 使用价格上。