# 图灵奖得主 Sutton 搬出 1967 年的老公式，想让强化学习在流式训练里不再跑偏

> 原标题：图灵奖得主Sutton新作：用一个1967年的公式，解决流式强化学习一大缺陷

- 来源：机器之心 · 公众号
- 发布时间：2026-05-10T06:03:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/16893
- 原文：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2651032178&idx=2&sn=808a052337690b7775a056dc4f7acd52

## 摘要

Richard Sutton 团队给流式强化学习（就是来一条数据学一次、不存回放池的那种）开了个新方子，叫“意图更新”。核心思路很直白：先定好这次更新想让模型输出变多少，再反推学习率该设多大，用的还是 1967 年 Kalman 滤波里的一个公式。

## 推荐理由

图灵奖得主 Sutton 团队提出意图更新方法，用 1967 年 Kalman 滤波公式反推学习率，让不存回放池的流式强化学习在来一条学一条的条件下少跑偏。

## 锐评

1/140 的 FLOPs 这个数比 Sutton 的署名更值得看。流式训练来一条学一条、没有回放池，学习率全靠手调，现在先定输出变多少再反推步长，调参从玄学变成可算的。batch=1 无回放也贴近真实部署，不是刷榜跑出来的。

1967 年的 Kalman 公式还能派上用场，流式 RL 缺的从来不是新架构，是把老控制论的东西捡回来。真上生产，还得看它跟现有 optimizer 的兼容成本。
