# 用强化学习让 Qwen3.5 自己攻自己，再把失败案例喂回去加固防线

> 原标题：I trained Qwen3.5 to jailbreak itself with RL, then used the failures to improve its defenses

- 来源：r/LocalLLaMA
- 发布时间：2026-05-14T23:09:42.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/20706
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1tdegh0/i_trained_qwen35_to_jailbreak_itself_with_rl_then/

## 摘要

作者搭了一套全自动的红队演练循环：先训练一个攻击模型，用强化学习（GRPO）对着 Qwen3.5 不断尝试越狱，成功诱导出有害回答就给奖励。第一轮攻击很快塌缩成同一种“写小说”套路，翻来覆去就一招。后来他们把攻击按底层策略聚类，奖励除以该策略的使用次数，逼攻击模型去挖新花样，这才炸出 7 类不同的越狱手法，其中虚构创作类占比最高，达 34%。

## 推荐理由

作者用强化学习训练攻击模型对 Qwen3.5 自动越狱，并按策略聚类惩罚重复手法，逼出 7 类不同攻击方式，其中虚构创作类占 34%。

## 锐评

防御率 64% 到 92% 这个数，我信不了。良性准确率从 92% 掉到 88%，模型变保守了，正常问题也开始拒答，那多出来的防御率里有多少是它干脆不答了，这个账作者没算。攻击器第一轮塌缩成写小说一招，GRPO 在这种稀疏奖励下很容易找到一条捷径就躺平，奖励除以策略使用次数这招倒是挺实用，跑红队的可以记一下。没代码没论文，当实验笔记看就行。
