跳到正文
r/LocalLLaMA

实测:用小模型跑编程 agent,哪些环节会崩

Notes on what actually breaks when you run a coding agent on small local models

作者花了几周时间,用 7B 以下的本地小模型和免费云端模型跑多文件编程任务,发现结构化输出很不靠谱。崩得最多的地方有三个:模型在回复里乱加 markdown 代码块标记,把编辑内容写到错误的文件里,以及分不清该读文件还是写文件。

推荐理由:作者用几周时间测试 7B 以下本地小模型跑多文件编程任务,记录下结构化输出最常崩的三个环节,并给出后处理、JSON schema 校验等补救办法。

读原文 ↗导出 Markdown