Semvec:把聊天记录压成固定大小的“语义状态”,上下文再长也不涨 token
I built "Semvec": A Constant-Cost Semantic Memory for LLMs (Looking for testers!)
一个开发者在 Reddit 上发了个叫 Semvec 的项目,思路是把对话历史从无限增长的文本流换成固定大小的语义向量,每次推理只传这个压缩后的状态。他给出的 48 轮基准测试里,token 用量大概砍掉了 76%,而且第 10 轮和第 10000 轮的输入开销一样大。
推荐理由:开发者把对话历史换成固定大小的语义向量,48 轮基准里 token 用量减少约 76%,第 10 轮与第 10000 轮的输入开销相同,长链 agent 的上下文成本问题由此多了一种压缩思路。