跳到正文
Computing Life · Share · 鸭哥调研

同一个工具开关,一个模型赚了,一个崩了:编程智能体外层设计的关键决策

harness 设计的关键决策:同一个开关,一个模型赚了,一个崩了

一项实测研究把编程智能体的外层控制软件拆成任务规划、上下文管理和动作接口三个开关,逐一测试其作用。撤掉专用文件工具改用纯命令行后,Nemotron-3 550B 在 SWE-Bench Verified 上成功率从 65.80% 升至 69.40%。

推荐理由:研究团队把编程智能体的外层控制软件拆成三个开关逐一实测,撤掉专用文件工具后 Nemotron-3 550B 成功率升 3.6 个百分点、成本减半,Mistral-Medium-3.5-128B 却跌 23.2 个百分点。

读原文 ↗导出 Markdown