# OpenSquilla 用本地路由和缓存把大模型传输量砍掉九成以上

> 原标题：开源项目OpenSquilla：智能路由与本地检索，大幅降低LLM使用成本

- 来源：AI HOT 精选
- 发布时间：2026-05-14T02:55:32.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/19936
- 原文：https://x.com/vista8/status/2054757474100760626

## 摘要

OpenSquilla 这个开源项目把模型路由决策放在本地跑，不花 token 就能判断问题难易：简单问题丢给便宜模型，复杂问题才上强模型。它靠增量发送和缓存命中把实际传输的 token 量压到原来的十分之一以下。记忆模块会在上下文快满时自动挑重点压缩，还支持混合检索。

## 推荐理由

OpenSquilla 把模型路由决策放在本地执行，不消耗 token 即可区分问题难易，并借增量发送与缓存命中将实际传输量压到十分之一以下。

## 锐评

本地路由这个思路对，路由决策本身就不该花 token。判断问题难易用不着大模型，一个小分类器在本地跑就够了，省下的钱是实打实的。传输量砍到十分之一，就算只做到一半，对小团队的账单也是量级上的差别。

九成这个数先当宣传看，仓库活跃度和测试环境都没提。我信的是方向，数字等仓库自己说话。
