Neuralwatt分析智能体框架的缓存与能耗

10月17日，Hacker News首页报道了Neuralwatt对智能体运行框架、缓存与能耗关系的分析。Neuralwatt通过分析云端流量与实验请求发现，运行框架修改既有提示词会破坏缓存，增加重复计算与能耗。在模型相同、输入输出长度相近的条件下，缓存基本未命中的请求能耗约为缓存命中请求的2倍，GLM-5.3约为2.5倍。分析还指出，上下文超过128k tokens时，一次大范围重读的预填充计算量约相当于600次普通轮次。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。