# Modal 公开万亿参数编码 Agent 推理优化细节：单副本性能提升 2.8 倍，把烧钱服务做到价格有竞争力

> 原标题：Modal 详解如何以万亿 token 规模服务 Kimi K2.6 编码 Agent 推理

- 来源：AI HOT 精选
- 发布时间：2026-09-23T00:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/58447
- 原文：https://modal.com/blog/trillion-tokens-trillion-parameters

## 摘要

Modal 发布工程博客，介绍其以万亿 token 规模服务 Moonshot AI 的 Kimi K2.6 编码 Agent 推理的优化过程，单副本性能提升至每用户 2.8 倍、跨用户 5.6 倍。

## 推荐理由

Modal 公开了以万亿 token 规模服务 Kimi K2.6 编码 Agent 的推理优化过程，单副本性能提升至每用户 2.8 倍、跨用户 5.6 倍，并交代了万亿参数模型服务如何摊薄成本。

## 锐评

2.8 倍和 5.6 倍这两个数，做推理服务的一看就知道分量。单副本交互体验提 2.8 倍，多用户吞吐提 5.6 倍，同一张卡上多塞几倍的人，单位 token 成本直接往下掉一个台阶。Modal 敢把万亿参数 MoE 的编码 agent 做到价格有竞争力，靠的就是这个，模型本身没变聪明。

他们拿 K2.6 讲，一个几百天前的模型，说核心方法对 K3 一样适用。这话我信，推理优化本来就不太跟着模型换代走。自己搭 serving 的，这篇值得逐段看，尤其是并发那块。
