kapa.ai 用一个小模型砍掉了 68% 的 RAG 上下文,召回率还保住 96%
Pruning RAG context down to what the answer actually needs
kapa.ai 在检索器和生成器之间塞了一个便宜的小模型做“剪枝器”。它把问题和所有检索到的资料块一起读,按五级标准打分,直接扔掉 68% 的上下文,让后面那个贵的大模型少看很多无用信息。单次查询成本因此降了三分之一,同时答案所需资料的召回率维持在 96%。之前试过用重排序分数来砍,但分数在不同查询间没法对齐,也看不出资料块之间的关联,所以失败了。
推荐理由:kapa.ai 用小模型联合读取问题与检索资料后剪枝,同时处理重排序难以跨查询统一筛选标准和忽略资料块关联的问题。