跳到正文
Hacker News 首页

把 AI 助手的上下文当成生命周期来管,而不只是存起来

Agentic Context Management: Memory and Cost as Architecture Problems

这篇论文的核心判断是:生产环境里的 AI 助手(agent)翻车,多数不是因为推理不行,而是被自己攒下的上下文撑死了。对话历史、工具定义、工具返回的结果越堆越多,每次调用模型都要把整坨东西塞进去,token 费用会随着对话轮次平方级增长。粗暴地做摘要虽然能把成本压成线性,但准确率会断崖式下跌。

推荐理由:论文指出生产环境中的 AI 助手常因上下文堆积导致 token 费用随对话轮次平方级增长,并对比了粗暴摘要虽把成本压成线性却让准确率断崖下跌的取舍。

读原文 ↗导出 Markdown