跳到正文
机器之心 · 公众号

苹果新论文问:多模态模型没开口的 logits 里,到底藏了多少画面信息?

苹果新论文发出惊人一问:What do your logits know?

苹果这篇论文直接测了一个安全问题:视觉语言模型在生成回答前,内部那串“候选词概率”(logits)会不会把图片细节漏出去。他们在 CLEVR 和 MSCOCO 上做实验,发现只靠排名前 30 到 80 的 logits 值,就能反推出图片里有没有噪声、目标物体的特征,甚至部分背景属性。

推荐理由:苹果在 CLEVR 和 MSCOCO 上实验发现,仅凭排名前 30 到 80 的 logits 就能反推出图片噪声、目标特征和部分背景属性,为视觉语言模型的输出接口风险提供了可量化的证据。

读原文 ↗导出 Markdown