新加坡国立等团队提出 ViF,专治多智能体协作时的视觉幻觉传染
终结多智能体视觉幻觉“滚雪球”!新国立等提出ViF:无需改造模型,即插即用
多智能体系统里有个麻烦:一个模型看图说话出错,把错误描述传给下一个模型,下一个模型再添油加醋,幻觉就像滚雪球一样越滚越大。新加坡国立大学 LV-Lab 等团队搞了个叫 ViF 的方法,不改造模型本身,即插即用。核心思路是不再只传文字,而是把视觉信息打包成“视觉接力令牌”塞进对话流里,同时用分层注意力重分配让模型多看该看的地方。
推荐理由:新加坡国立大学等团队提出 ViF,把视觉信息打包成中继令牌放进多智能体对话流,不改模型即可缓解文字传递导致的幻觉累积。