多模型路由进了 Agent 会话,省钱的路子突然不灵了
多模型路由进入 Agent 会话之后
多模型路由在单轮问答里能省钱省延迟,但一进多轮 Agent 会话就容易翻车。
推荐理由:多模型路由在单轮问答里能省钱省延迟,进入多轮 Agent 会话后却因只看当前轮次词数而接不住上下文,文章以 vLLM issue 案例说明这一调度方式的适用边界。
多模型路由进入 Agent 会话之后
多模型路由在单轮问答里能省钱省延迟,但一进多轮 Agent 会话就容易翻车。
推荐理由:多模型路由在单轮问答里能省钱省延迟,进入多轮 Agent 会话后却因只看当前轮次词数而接不住上下文,文章以 vLLM issue 案例说明这一调度方式的适用边界。