# 用强化学习让 Qwen3.5 自己攻自己，再把失败案例喂回去加固防线

> 原标题：I trained Qwen3.5 to jailbreak itself with RL, then used the failures to improve its defenses

- 来源：r/LocalLLaMA
- 发布时间：2026-05-14T23:09:42.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/20706
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1tdegh0/i_trained_qwen35_to_jailbreak_itself_with_rl_then/

## 摘要

作者搭了一套全自动的红队演练循环：先训练一个攻击模型，用强化学习（GRPO）对着 Qwen3.5 不断尝试越狱，成功诱导出有害回答就给奖励。第一轮攻击很快塌缩成同一种“写小说”套路，翻来覆去就一招。后来他们把攻击按底层策略聚类，奖励除以该策略的使用次数，逼攻击模型去挖新花样，这才炸出 7 类不同的越狱手法，其中虚构创作类占比最高，达 34%。接着用这些...

## 推荐理由

我会先打个折：这是 Reddit 个人帖，没挂论文也没开源代码，数字只能当参考。但故事本身挺有意思——作者没靠人工写攻击样本，而是用强化学习让 Qwen3.5 自己琢磨怎么越狱，再把翻车案例拿来加固模型，形成一个自动红队闭环。防御率从 64% 跳到 92% 看着漂亮，不过良性准确率从 92% 跌到 88%，说明模型变保守了，正常问题也开始拒答。攻击器挖出 7 类策略，正文没展开细节，不知道覆盖面和实际危害有多大。整体像一份个人实验笔记，有启发但缺验证，先别太激动。

## 锐评

这个实验最实在的地方是它把红队演练做成了全自动闭环，而且没藏着掖着攻击模型“偷懒”的问题。第一轮GRPO训练的攻击模型很快就塌缩成反复用“虚构创作”这一种套路，说明不加干预的强化学习在越狱任务上会走捷径。作者用的解法很直接：先把攻击按底层策略聚类，再用奖励除以该策略的使用次数，逼模型去探索新花样。这招确实管用，炸出了7类不同的越狱手法，其中虚构创作类占比最高，达34%。

防守侧的训练数据来自成功攻击样本加上良性边界案例，目的是让模型学会拒绝有害请求，但别把正常问题也误杀了。结果防守率从64%跳到92%，提升明显；代价是良性准确率从92%掉到88%。这个4%的跌幅不算小，说明模型在安全对齐上有点“宁可错杀”的倾向。

信息缺口也很清楚：正文没披露用了什么有害请求集、攻击模型和防守模型的具体规模，也没说这7类越狱手法具体是什么、各自成功率多少。另外，良性准确率是在哪个测试集上测的也没交代，如果测试集本身偏简单，88%这个数字可能还要再打个折。