跳到正文
Hacker News 首页

Sakana AI 搞出一种不用反向传播的训练方法,能跑通 1000 层网络

Backprop Alternative: Augmented Lagrangian Predictive Coding

Sakana AI 发了篇论文,提出 PC-ALM,一种完全不用反向传播的训练方法。它给每一层网络加了一组“对偶神经元”(可以理解成比例-积分控制器),靠层与层之间的局部动力学来传递监督信号,解决了传统预测编码在深层网络里信号衰减的问题。他们在 Fashion-MNIST 和 CIFAR-10 上测了残差 MLP,最深堆到 1000 层,效果接近反向传...

推荐理由:Sakana AI 这篇论文确实提出了一个不用反向传播的训练方法,而且能在 1000 层网络上跑通,技术上有新东西。但我会先打个折:测试集还是 Fashion-MNIST 和 CIFAR-10,没上更大规模的任务,所以现在说它能替代反向传播还太早。分数给到 72,主要是认可方法本身的创新性,但实用性还没被验证。

读原文 ↗导出 Markdown