做 AI 智能体，先设计路由再选模型

构建AI智能体应优先设计路由

Tomasz Tunguz 认为，团队应该先搭路由层，最后再挑模型。路由是一小段代码，负责判断每个请求该交给哪一档模型处理。做对了，70% 到 80% 的流量可以跑在几乎免费的本地模型或异步模型上，AI 开销能砍掉九成以上。他举了 Coinbase 的例子：Token 用量在涨，但 AI 成本反而砍半，靠的就是更好的默认设置、路由和缓存。路由栈分三层：...

推荐理由：Tunguz 把“模型优先”的惯性翻了过来，主张先搭路由层，用一小段代码决定每个请求交给哪档模型。这个判断有 Coinbase 的真实数据撑着：Token 用量在涨，AI 成本反而砍半，靠的就是更好的默认设置、路由和缓存。文章给出的 70%–80% 流量可走免费模型、成本砍九成这些数字，让论点不是飘在空中的架构建议，而是可以直接拿来算账的参考。我会先打个折——正文没披露 Coinbase 路由的具体实现细节和失败率，所以“砍九成”更像一个理想上限，实际落地要看团队对延迟和错误率的容忍度。但整体上，这篇文章对正在纠结模型账单的从业者来说，提供了一个先...