热点事件历史事件
OpenRouter 推出批量推理接口,打包请求最高打五折
1 篇报道1 个报道来源7 天前更新
先了解这件事
事实说明
OpenRouter 新上线了 Batch API,你把一堆请求打包提交,模型供应商可以在 24 小时内挑空闲时间处理,作为交换,每 token 的费用直接砍半,部分模型甚至更低。两周测试期跑了超过 23 万个批次,中位数 7 分钟就出结果,90% 的批次在一小时内完成。提交时间比请求数量更影响速度:太平洋时间早上 5 点到中午 12 点最慢,最差的那...
报道时间线
沿着报道,了解事件的不同侧面。
9月22日
- AI HOT 精选OpenRouter 推出批量推理接口,打包请求最高打五折
OpenRouter 新上线了 Batch API,你把一堆请求打包提交,模型供应商可以在 24 小时内挑空闲时间处理,作为交换,每 token 的费用直接砍半,部分模型甚至更低。两周测试期跑了超过 23 万个批次,中位数 7 分钟就出结果,90% 的批次在一小时内完成。提交时间比请求数量更影响速度:太平洋时间早上 5 点到中午 12 点最慢,最差的那...