跳到正文
Hacker News 首页

Jamie Simon 等 14 位作者发了一篇 41 页的论文,认为深度学习的科学理论正在成形

There Will Be a Scientific Theory of Deep Learning

这篇论文不是空谈路线图,而是把现有理论工作归成五条线索,论证一个可检验的定量理论已经冒头了。五条线索分别是:用理想化设定给真实训练过程提供直觉;在可计算的极限里看清学习现象;用简单数学规律抓住宏观可观测指标;把超参数的作用从训练过程里拆出来,让剩下的系统更干净;以及跨模型、跨设定都成立的通用行为。

推荐理由:14 位作者把现有深度学习理论工作归成五条线索,论证一个可检验的定量理论已经冒头,这些分散研究之间的关联由此有了整体轮廓。

读原文 ↗导出 Markdown