跳到正文
Computing Life · Share · 鸭哥调研

Anthropic 将请求包从约 800 KB 降至 1.8 KB,为何与英伟达的长上下文压缩建议并不矛盾

从 800 KB 到 1.8 KB,账单却一分不减:为什么英伟达劝你砍掉长上下文,Anthropic 却帮 100 万 Token 修高速路

Anthropic 的 Message Threads 将长对话请求包中位数从约 800 KB 降至 1.8 KB,减少重复上传、校验和切词,但不减少 token 消耗与账单。

推荐理由:Anthropic 用增量传输降低网关延迟,英伟达用上下文压缩降低解码成本,两条路线分别处理长对话的不同开销。

读原文 ↗导出 Markdown