用强化学习让 Qwen3.5 自己攻自己,再把失败案例喂回去加固防线
I trained Qwen3.5 to jailbreak itself with RL, then used the failures to improve its defenses
作者搭了一套全自动的红队演练循环:先训练一个攻击模型,用强化学习(GRPO)对着 Qwen3.5 不断尝试越狱,成功诱导出有害回答就给奖励。第一轮攻击很快塌缩成同一种“写小说”套路,翻来覆去就一招。后来他们把攻击按底层策略聚类,奖励除以该策略的使用次数,逼攻击模型去挖新花样,这才炸出 7 类不同的越狱手法,其中虚构创作类占比最高,达 34%。
推荐理由:作者用强化学习训练攻击模型对 Qwen3.5 自动越狱,并按策略聚类惩罚重复手法,逼出 7 类不同攻击方式,其中虚构创作类占 34%。