苹果新论文问:多模态模型没开口的 logits 里,到底藏了多少画面信息?
苹果这篇论文直接测了一个安全问题:视觉语言模型在生成回答前,内部那串“候选词概率”(logits)会不会把图片细节漏出去。他们在 CLEVR 和 MSCOCO 上做实验,发现只靠排名前 30 到 80 的 logits 值,就能反推出图片里有没有噪声、目标物体的特征,甚至部分背景属性。风险点在于,现在有些灰盒 API 会返回 top-k 的 log 概...
推荐理由:我会先打个折:这不是一个能直接拿来用的攻击工具,更像一次扎实的探针实验。但它的价值在于把“logits 能泄密”从直觉变成了可量化的证据,30–80 这个范围让风险变得具体。对做 VLM API 的团队来说,如果还在对外吐 top-k 对数概率,这篇论文值得立刻看一遍。