跳到正文
r/LocalLLaMA

Tool-Prune:0.4ms 从 50+ 工具里筛出候选,省 92% 提示词

tool-prune: prune 50+ tool schemas down to candidates in 0.4ms (-92% prompt tokens, zero deps)

一个叫 Tool-Prune 的小工具,能把 50 多个工具的定义(schema)快速过滤到只剩几个候选,只花 0.4 毫秒,省掉 92% 的提示词 token,而且零依赖。对需要给模型挂一堆工具的开发者来说,能明显缩短输入长度、省成本。不过 Reddit 正文被屏蔽了,没披露具体怎么剪枝的、测试环境是什么,所以算法可靠性和泛化能力暂时没法判断。

读原文 ↗导出 Markdown