# 复旦等团队提出 HERMES：把 KV 缓存当分层记忆用，流式视频理解首 token 延迟最高降 10 倍

> 原标题：记得住、答得快、用得省：HERMES 让流式视频理解实时响应提速10倍

- 来源：机器之心 · 公众号
- 发布时间：2026-04-24T09:06:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/9781
- 原文：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2651029959&idx=3&sn=727974231a8a62b512461c7b6c148c9d

## 摘要

这篇讲的是复旦大学、上海科学智能研究院和新加坡国立大学一起搞的 HERMES，一个不用重新训练就能加速流式视频理解的框架。核心思路是把模型里的 KV 缓存（你可以理解成模型在推理时记下的“草稿纸”）重新组织成三层记忆：当前帧的短期记忆、最近几帧的中期记忆，以及更早帧压缩后的长期记忆。

## 推荐理由

复旦大学等团队提出免训练的 HERMES 框架，把 KV 缓存组织成三层记忆来加速流式视频理解，首 token 延迟最高降低 10 倍，为实时视频场景的推理优化提供了一条可迁移思路。

## 锐评

免训练就能把流式视频的首 token 延迟压下来，这个方向比又发一个视频模型实在。KV 缓存本来就是推理时最占显存、最拖延迟的东西，把它按时间远近分三层，远的压掉，近的留着，68% 的 token 削减和 27-29ms 的 TTFT 是能直接换算成账单和体验的数字。做实时视频 agent 的，省 token 就是省钱，延迟低一个量级就是能不能上线的区别。开源的话值得扒下来看看，但这是论文，长视频下记忆会不会退化、换几个模型还灵不灵，得自己跑过才算数。
