# CMU 新论文让大模型在上下文窗口满了之后“睡觉”，用离线循环前向传播更新记忆权重，再清掉缓存

> 原标题：模型也需要「睡觉」？CMU新论文让LLM在梦中「巩固记忆」

- 来源：机器之心 · 公众号
- 发布时间：2026-06-05T04:07:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/34712
- 原文：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2651037190&idx=2&sn=b5976fc929c8c0c135d11c99e0ea1ace

## 摘要

CMU 和马里兰大学的研究者给大模型加了一个“睡眠”机制。具体做法是：当模型处理长文本、上下文窗口（L-token）塞满时，不直接丢掉旧的 KV 缓存，而是先跑 N 轮离线的循环前向传播，把当前信息压缩更新到 SSM（状态空间模型）的快速权重里，然后再清空缓存。

## 推荐理由

CMU 和马里兰大学研究者给大模型加了睡眠机制，在上下文窗口塞满时用离线循环前向传播把信息压进 SSM 快速权重再清缓存，提供了一种长文本记忆管理思路。

## 锐评

把 KV 缓存压进 SSM 的快速权重再清掉，这个思路挺对路。长上下文现在最贵的就是缓存，塞满以后要么丢要么烧钱，它选了第三条路，睡前把今天的事记进权重里。

离线跑 N 轮前向传播，这 N 轮的算力账单谁付，论文里大概没算。我信这个方向，不信它现在能省 token。
