跳到正文
Hacker News 首页

Manifest 下线了自己的模型路由器,认为省下的钱会在别处花掉

Everyone is building LLM routers, we deprecated ours

Manifest 今年三月上线了一个模型路由器,把请求按复杂度分成四档,想用便宜模型处理简单任务来省钱。跑了四个月、服务了七千个云用户后,他们在六月把它标记为弃用,九月一日彻底关停。核心问题有三个:第一,光看提示词根本判断不了真实复杂度——比如“评估 $GIT_REPO 的测试并改进”,对静态个人网站很简单,对 Linux 内核就是地狱难度。第二,缓存...

推荐理由:Manifest 这篇四个月的生产复盘,把模型路由器为什么失败讲得很具体,有场景、有数字、有自我打脸,不是泛泛而谈。扣分点在于这只是单家公司的经验,没有对照实验,而且文章正文被截断,完整论证看不到。我会先打个折,但整体信息密度和诚实度都够,值得推给正在纠结路由方案的从业者。

读原文 ↗导出 Markdown