跳到正文
热点事件历史事件

OpenRouter 推出批量推理接口,打包请求最高打五折

1 篇报道1 个报道来源7 天前更新

先了解这件事

事实说明

OpenRouter 新上线了 Batch API,你把一堆请求打包提交,模型供应商可以在 24 小时内挑空闲时间处理,作为交换,每 token 的费用直接砍半,部分模型甚至更低。两周测试期跑了超过 23 万个批次,中位数 7 分钟就出结果,90% 的批次在一小时内完成。提交时间比请求数量更影响速度:太平洋时间早上 5 点到中午 12 点最慢,最差的那...

报道时间线

沿着报道,了解事件的不同侧面。

9月22日
  1. AI HOT 精选
    OpenRouter 推出批量推理接口,打包请求最高打五折

    OpenRouter 新上线了 Batch API,你把一堆请求打包提交,模型供应商可以在 24 小时内挑空闲时间处理,作为交换,每 token 的费用直接砍半,部分模型甚至更低。两周测试期跑了超过 23 万个批次,中位数 7 分钟就出结果,90% 的批次在一小时内完成。提交时间比请求数量更影响速度:太平洋时间早上 5 点到中午 12 点最慢,最差的那...