就算号称“无审查”的模型,也不敢把话说明白
Even 'uncensored' models can't say what they want
Morgin.ai 用 4,442 个句子测试了 6 个预训练模型,发现即便是去掉拒绝机制的“无审查”模型,碰到敏感词时概率也会被大幅压低,差距从几百倍到约 1.6 万倍不等。他们管这叫“退缩”:模型不会拒绝回答,但会把敏感词的概率压到几乎为零。比如同一句话填空,Pythia-12B 首选“驱逐出境”,概率 23.27%。
推荐理由:Morgin.ai 用 4442 个句子测试 6 个预训练模型,发现去掉拒绝机制的模型遇到敏感词时仍把词概率压低几百倍到约 1.6 万倍。