# kapa.ai 用一个小模型砍掉了 68% 的 RAG 上下文，召回率还保住 96%

> 原标题：Pruning RAG context down to what the answer actually needs

- 来源：Hacker News 首页
- 发布时间：2026-07-06T19:28:24.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/42774
- 原文：https://www.kapa.ai/blog/how-we-prune-rag-context

## 摘要

kapa.ai 在检索器和生成器之间塞了一个便宜的小模型做“剪枝器”。它把问题和所有检索到的资料块一起读，按五级标准打分，直接扔掉 68% 的上下文，让后面那个贵的大模型少看很多无用信息。单次查询成本因此降了三分之一，同时答案所需资料的召回率维持在 96%。之前试过用重排序分数来砍，但分数在不同查询间没法对齐，也看不出资料块之间的关联，所以失败了。

## 推荐理由

kapa.ai 用小模型联合读取问题与检索资料后剪枝，同时处理重排序难以跨查询统一筛选标准和忽略资料块关联的问题。

## 锐评

68% 的 context 直接扔掉，召回还保 96%，这个数比省下的三分之一成本更值钱。RAG 的账单大头从来不在检索，在后面那个大模型每次硬吃一堆没用的块，token 全花在噪音上。他们之前用重排序分数砍失败，因为分数跨查询对不齐，这个坑我信，rerank 分数本来就没法当绝对阈值用。让便宜小模型读问题加资料块一起打分，把判断权交给能看全局的那个，方向对。96% 是他们自家数据，换域得自己重测。
