AI界的震网病毒、有缺陷的Muon优化器,以及“正向对齐”
Import AI 457: AI stuxnet; cursed Muon optimizer; and positive alignment
SentinelOne拆解了一个叫fast16.sys的老病毒,它专门篡改高精度计算软件在内存里的结果,可能被用来破坏核武器开发等工程模拟,在震网病毒出现前五年就已存在。Tilde Research发现流行的Muon优化器有个致命缺陷:训练初期会导致MLP层里超过四分之一的神经元永久“死亡”,再也救不回来。
推荐理由:SentinelOne拆解的fast16.sys在震网病毒出现前五年就篡改内存中的高精度计算结果,Tilde Research则发现Muon优化器会让MLP层超四分之一神经元在训练初期永久死亡。