复旦等团队提出 HERMES：把 KV 缓存当分层记忆用，流式视频理解首 token 延迟最高降 10 倍

记得住、答得快、用得省：HERMES 让流式视频理解实时响应提速10倍

这篇讲的是复旦大学、上海科学智能研究院和新加坡国立大学一起搞的 HERMES，一个不用重新训练就能加速流式视频理解的框架。核心思路是把模型里的 KV 缓存（你可以理解成模型在推理时记下的“草稿纸”）重新组织成三层记忆：当前帧的短期记忆、最近几帧的中期记忆，以及更早帧压缩后的长期记忆。同时它做了跨层记忆平滑和位置重编号，让模型读这段压缩历史时不会因为位置...

推荐理由：我会先打个折：这是学术研究，不是产品发布，所以重要性停在 82。但 HKR 三项都站得住——10 倍提速是实打实的标题钩子，68% token 削减和 27-29ms TTFT 是能拿来算账的数字，而且方案免训练、开源，对做流式视频落地的团队来说，省 token 就是省钱，低延迟就是体验。正文没披露长视频下的记忆退化情况和更多模型上的泛化结果，这点先别太激动，但现有数据已经够让做实时视频 agent 的人认真看一遍。