厂商加密推理防蒸馏基本没用,还把开发者的密钥泄露风险拉满了
模型蒸馏攻防的秘诀:厂商藏不住的推理,和你删不掉的密钥
厂商把模型的思考过程加密藏起来,想阻止别人拿强模型输出去训练小模型,但两篇新论文证明这招不太灵。第一篇发现,Anthropic、OpenAI 和 Google 的加密推理块可以跨模型互换,攻击者花 720 美元就能用 Haiku 4.5 这种便宜小模型批量解码 Opus 4.8 的真实推理。第二篇更直接:根本不用碰加密块,拿一个 15 亿参数的弱模型训...
推荐理由:我会先打个折,因为两篇都还是预印本,厂商没回应,也没看到大规模利用的实锤,所以分数压在 85 以下。但内容本身够硬:第一篇发现三家大厂的加密推理块能互换,攻击成本才 720 美元,门槛极低;第二篇更狠,用 15 亿参数的小模型就能把加密推理里的信息榨出来,根本不用解密。这对做模型蒸馏攻防的人是个明确的警告,也说明现在靠加密藏推理来防蒸馏,效果可能比厂商想的差很多。