跳到正文
机器之心 · 公众号

Mila 和 DeepMind 搞了个大一统的缩放定律公式 UNSL,想把参数量、数据量、训练步数这些变量塞进同一个框架里

多变量神经缩放定律迈向大一统:Mila联手DeepMind提出UNSL

正文因为微信环境异常被屏蔽了,具体技术细节看不到。从标题和已有英文摘要看,这篇论文提出了一种叫 UNSL(统一神经缩放定律)的多变量公式,不再只看模型参数或数据量单一维度,而是同时建模参数量、token 数、训练步数,还考虑了训练瓶颈、过拟合以及超参数调不好的负面影响。

推荐理由:Mila 与 DeepMind 提出 UNSL,把参数量、token 数和训练步数放进同一缩放公式,并纳入训练瓶颈与过拟合的影响,为多变量下的训练配置估算提供统一框架。

读原文 ↗导出 Markdown