跳到正文
r/LocalLLaMA

Agent 里的调度模型能做多小?有人用 3B 激活参数的 MoE 跑通了本地 ReAct 循环

How small can the orchestration model in an agent be? (separating it from code-gen — that obviously wants a big model)

这篇帖子来自一个叫 HomoAgens1 的本地部署实验,他把 Agent 的调度模型和写代码的大模型拆开看,专门测调度环节能缩到多小。他用的 Qwen3.6-35B-A3B 是个 MoE 模型,实际干活时只激活约 3B 参数,跑在一块 12GB 显存的 GPU 上,关了 30 个专家做 offload,生成速度能到每秒 40 个 token。

推荐理由:HomoAgens1 把 Agent 的调度与代码生成拆开,用激活约 3B 参数的 MoE 模型在 12GB 显存上跑通本地 ReAct 循环,生成速度达每秒 40 token,为调度环节的模型选型给出一个可复现的规模参考。

读原文 ↗导出 Markdown