# 让 7B 小模型从自己的错误里学习，HumanEval 正确率从 15% 涨到 68%，跑一次训练只要 3.5 美元

> 原标题：I Let a Small Model Train on Its Own Mistakes. It Reached 80% on HumanEval and Beat GPT-3.5 on Math

- 来源：r/LocalLLaMA
- 发布时间：2026-05-14T22:55:05.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/20727
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1tde3m1/i_let_a_small_model_train_on_its_own_mistakes_it/

## 摘要

作者拿 Qwen 2.5 7B 基础模型做实验，先让它自己写代码、自己跑测试，把跑不过的代码和报错信息收集起来，再让它根据报错改出正确版本，这样就自动生成了“错误-修正”配对数据。用这批数据微调后，7B 模型在 HumanEval 上的通过题数从 25 题（约 15%）提升到 112 题（约 68%），数学能力也超过了 GPT-3.5。

## 推荐理由

作者让 Qwen 2.5 7B 自己写代码、跑测试，把报错和修正过程做成训练数据，微调后 HumanEval 通过率从约 15% 升到约 68%，展示了用模型自身错误生成训练样本的可行路径。

## 锐评

3.5 美元把 7B 从 15% 拉到 68%，这个性价比挺离谱。自己跑测试收报错、再让模型改对，等于用推理时间换训练数据，比人工标注便宜一个量级。标题写 80%，实际是 112/164，68% 我认，翻四倍已经够狠。数学超 GPT-3.5 没给 benchmark 名字，先当宣传。能复现的是那 100 对样本和一张 H100 一个半小时，小团队自己攒修正数据这条路值得试。
