做 AI 智能体,先设计路由再选模型
构建AI智能体应优先设计路由
Tomasz Tunguz 认为,团队应该先搭路由层,最后再挑模型。路由是一小段代码,负责判断每个请求该交给哪一档模型处理。做对了,70% 到 80% 的流量可以跑在几乎免费的本地模型或异步模型上,AI 开销能砍掉九成以上。他举了 Coinbase 的例子:Token 用量在涨,但 AI 成本反而砍半,靠的就是更好的默认设置、路由和缓存。
推荐理由:Tomasz Tunguz 提出团队应先搭路由层再挑模型,让七到八成流量跑在近乎免费的本地或异步模型上,并以 Coinbase 成本减半为例说明这一顺序对 AI 开销的影响。