卡内基梅隆和马里兰大学让大模型“睡觉”:上下文快满时暂停、压缩记忆再继续推理
大模型也需要睡觉!让AI打个盹,醒来更聪明
这篇论文给大模型设计了一个类似人类睡眠的机制。当模型处理长文本、上下文窗口快塞满时,它会主动停下来,不再接收新 token,而是利用离线时间对已积累的上下文做多轮递归前向计算,把信息压缩成“快速权重”。之后清空 KV 缓存,相当于整理完记忆再醒来继续干活。
推荐理由:卡内基梅隆和马里兰大学给大模型设计了类似睡眠的机制,在上下文快满时暂停并压缩记忆,为长文本推理中的显存与上下文管理提供了一种可迁移的方法。