# 用 100 步 GRPO 微调 3.5 亿参数模型，结构化输出合规率从 22.6% 提到 29.7%

> 原标题：Fine-tuning a 350M Model for Better Structured Outputs in 100 GRPO Steps

- 来源：Hugging Face 博客
- 发布时间：2026-09-03T00:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/55235
- 原文：https://huggingface.co/blog/grpo-with-trl-ifstruct

## 摘要

Hugging Face 博客给出用 TRL 的 GRPO 微调 LFM2.5-350M 的公开配方，在 IFStruct 基准上把通过率从 22.6% 提升到 29.7%。

## 推荐理由

Hugging Face 博客公开了用 TRL 的 GRPO 微调 3.5 亿参数模型 LFM2.5-350M 的完整配方，仅 100 步就把 IFStruct 结构化输出通过率从 22.6% 提到 29.7%。

## 锐评

22.6% 到 29.7%，涨 7 个点，放在 350M 的小模型上不算小。100 步 GRPO 就能榨出这些，reward 函数和训练数据还全公开，照着改比从零调省太多时间。

29.7% 离能用还差得远，剩下七成照样不合规，直接上生产肯定不行。这份配方我当模板看，值钱的地方就是它把 reward 和数据集摊开了。
