图灵奖得主 Sutton 搬出 1967 年的老公式,想让强化学习在流式训练里不再跑偏
图灵奖得主Sutton新作:用一个1967年的公式,解决流式强化学习一大缺陷
Richard Sutton 团队给流式强化学习(就是来一条数据学一次、不存回放池的那种)开了个新方子,叫“意图更新”。核心思路很直白:先定好这次更新想让模型输出变多少,再反推学习率该设多大,用的还是 1967 年 Kalman 滤波里的一个公式。
推荐理由:图灵奖得主 Sutton 团队提出意图更新方法,用 1967 年 Kalman 滤波公式反推学习率,让不存回放池的流式强化学习在来一条学一条的条件下少跑偏。