同一个工具开关，一个模型赚了，一个崩了：编程智能体外层设计的关键决策

harness 设计的关键决策：同一个开关，一个模型赚了，一个崩了

一项新研究把编程智能体的外层控制软件拆成了任务规划、上下文管理和动作接口三个独立开关，挨个测试。最扎眼的结果是：把预设的文件读写工具全撤掉、换成纯命令行后，Nemotron-3 550B 在代码修复任务上的成功率涨了 3.6 个百分点，单任务估算成本从 2.33 美元砍到 1.11 美元；但 Mistral-Medium-3.5-128B 的成功率却从...

推荐理由：这篇论文做了一个很干净的对照实验：把智能体的外层控制软件拆成任务规划、上下文管理和动作接口三个开关，单独拧动看效果。最反直觉的发现是，把预设的文件读写工具全撤掉、换成纯命令行后，Nemotron-3 550B 在代码修复任务上成功率涨了 3.6 个百分点，单任务成本从 2.33 美元砍到 1.11 美元；但 Mistral-Medium-3.5-128B 的成功率却直接掉了一截。这种同一开关、两个模型走向完全相反的结果，比单纯刷榜有信息量得多。正文没披露实验的统计显著性检验，这点先别太激动，但成本数字和成功率变化幅度已经足够让做工程的人重新审视自己...