跳到正文
AI HOT 精选

冻结模型里藏着可读的行为信号,Cygnus 靠适配器把 Qwen-32B 的 ARC 得分从 82% 拉到近 95%

冻结大语言模型隐藏状态中仍存可读行为信号,新技术大幅提升准确性

Proprioceptive AI 搞了个叫 Cygnus 的技术,给已经冻结的大模型外挂一个自感知适配器,不重新训练就能读出模型内部残留的行为信号。做法是把隐藏状态投影到一个用 gl(4,R) 李代数定义的数学空间里,从中分离出他们称为“暗模式”的精度信号。

推荐理由:Proprioceptive AI 为冻结模型外挂自感知适配器,不重训即可从隐藏状态读出行为信号,Qwen-32B 的 ARC 得分由 82% 升至近 95%。

读原文 ↗导出 Markdown