vLLM 搞了个 Micro-Agent:让多个模型在 API 内部组队干活,效果能超过单个顶尖模型
Micro-Agent: Beat Frontier Models with Collaboration Inside Model API
vLLM 的语义路由器现在不只是把请求分给最合适的模型,它还能让多个模型在背后协作,但对外只暴露一个模型名。用户照常调用 API,路由器会根据任务难度和预算,自动选择是先用便宜模型试试、让几个模型并行出结果再汇总,还是让模型互相审查。核心是把一次 API 调用变成一个受控的微型协作流程,有预算上限、执行拓扑和失败处理策略。
推荐理由:vLLM 把语义路由升级为模型协作引擎,一次 API 调用背后可按任务难度和预算自动选择先试便宜模型、并行汇总或互相审查,并配有失败处理策略。