Neuralwatt 解读智能体运行框架如何影响能耗与 token 效率

Why harnesses matter for energy (and token) efficiency

Neuralwatt 分析云端流量与实验请求发现，智能体运行框架修改既有提示词会破坏缓存，增加重复计算与能耗。相同模型、相近输入输出长度下，缓存基本未命中的请求能耗约为缓存命中请求的2倍，GLM-5.3约为2.5倍；上下文超过128k tokens时，一次大范围重读的预填充计算量约相当于600次普通轮次。

推荐理由：Neuralwatt通过逐条请求分析定位缓存失效原因，将稳定提示词前缀、追加状态变更归纳为减少智能体重复计算的方法。