Ramp 推出模型路由器,声称平均能砍掉 40% 的推理成本
Ramp Launches a Model Router
Ramp 把省钱基因用到了模型推理上。Router 是一个统一接口,每次请求自动挑一个最便宜但能满足你性能要求的模型来跑,覆盖了 Anthropic、OpenAI、Grok、Fireworks 等多家。一个演示里,用 Router 跑一趟花了 45.62 美元,而直接调一个通用前沿模型要 297.85 美元。客户 Delphi 说,在跑了数十亿个 to...
推荐理由:Ramp 发布了一个模型路由层,核心就是每次请求自动选最便宜的模型来跑,演示里成本从 298 美元降到 45 美元,对跑大量推理的团队很实用。不过这是刚发布的新东西,还没有第三方实测数据,所以分数先打个折。