AI 真能学会心算?隐式思维链首次得到理论证明,Stuart Russell 参与
AI真能学会心算?隐式思维链首次得到理论证明,Stuart Russell参与
UC Berkeley 和普林斯顿的研究者给“隐式思维链”找了理论依据。他们提出 Log-ICoT 方法,用 k 奇偶校验任务做实验:当 k=16 时,训练阶段从传统方法的 15 步砍到 4 步。论文证明,在简化假设下,一个 L 层的 Transformer 可以通过 log₂k 个课程阶段把推理步骤内化到模型里,不用再像显式思维链那样一步步往外蹦字。...
推荐理由:这篇论文给“隐式思维链”找了理论依据,不是光靠实验撞大运。我会先打个折:目前只在k奇偶校验这种玩具任务上验证,正文没披露真实NLP任务上的表现,所以实际能省多少算力还不好说。但亮点在于,他们用log₂k个课程阶段就让Transformer把推理步骤内化进模型,k=16时训练步数从15砍到4,这个压缩比挺直观。Stuart Russell参与也增加了可信度。对做推理优化的人,这是个值得跟的理论方向,只是别急着往生产里搬。