跳到正文
Hacker News 首页

Sakana AI 搞出一种不用反向传播的训练方法,能跑通 1000 层网络

Backprop Alternative: Augmented Lagrangian Predictive Coding

Sakana AI 提出 PC-ALM(Augmented Lagrangian Predictive Coding),一种用层局部动力学替代反向传播的局部训练方法,可训练最多 1000 层的残差 MLP,性能接近反向传播。

推荐理由:Sakana AI 提出 PC-ALM,用层局部动力学替代反向传播,在残差 MLP 上训练到 1000 层,性能接近反向传播,为局部训练方法的可扩展性提供了新证据。

读原文 ↗导出 Markdown