跳到正文
Computing Life · Share · 鸭哥调研

多模型路由进了 Agent 会话,省钱的路子突然不灵了

多模型路由进入 Agent 会话之后

多模型路由在单轮问答里能省钱省延迟,但一进多轮 Agent 会话就容易翻车。

推荐理由:多模型路由在单轮问答里能省钱省延迟,进入多轮 Agent 会话后却因只看当前轮次词数而接不住上下文,文章以 vLLM issue 案例说明这一调度方式的适用边界。

读原文 ↗导出 Markdown