跳到正文
机器之心 · 公众号

CMU 新论文让大模型在上下文窗口满了之后“睡觉”,用离线循环前向传播更新记忆权重,再清掉缓存

模型也需要「睡觉」?CMU新论文让LLM在梦中「巩固记忆」

CMU 和马里兰大学的研究者给大模型加了一个“睡眠”机制。具体做法是:当模型处理长文本、上下文窗口(L-token)塞满时,不直接丢掉旧的 KV 缓存,而是先跑 N 轮离线的循环前向传播,把当前信息压缩更新到 SSM(状态空间模型)的快速权重里,然后再清空缓存。

推荐理由:CMU 和马里兰大学研究者给大模型加了睡眠机制,在上下文窗口塞满时用离线循环前向传播把信息压进 SSM 快速权重再清缓存,提供了一种长文本记忆管理思路。

读原文 ↗导出 Markdown