# Semvec：把聊天记录压成固定大小的“语义状态”，上下文再长也不涨 token

> 原标题：I built &quot;Semvec&quot;: A Constant-Cost Semantic Memory for LLMs (Looking for testers!)

- 来源：r/LocalLLaMA
- 发布时间：2026-05-02T13:44:18.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/12967
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1t1qbe5/i_built_semvec_a_constantcost_semantic_memory_for/

## 摘要

一个开发者在 Reddit 上发了个叫 Semvec 的项目，思路是把对话历史从无限增长的文本流换成固定大小的语义向量，每次推理只传这个压缩后的状态。他给出的 48 轮基准测试里，token 用量大概砍掉了 76%，而且第 10 轮和第 10000 轮的输入开销一样大。

## 推荐理由

开发者把对话历史换成固定大小的语义向量，48 轮基准里 token 用量减少约 76%，第 10 轮与第 10000 轮的输入开销相同，长链 agent 的上下文成本问题由此多了一种压缩思路。

## 锐评

固定大小这个点比省 76% token 更值钱。省 token 只是省账单，固定大小是让第 10000 轮的输入跟第 10 轮一样，长链 agent 的成本曲线从线性变平，做长任务的人要的就是这个。

这是作者自己跑的 48 轮 benchmark，没有第三方验证，我暂时只当思路看。语义向量压历史，丢的细节怎么找回来，这个坑没见他说清楚。
