跳到正文
AI HOT 精选

OpenRouter 推出批量推理接口,打包请求最高打五折

OpenRouter 推出 Batch API,批量推理可享半价

OpenRouter 新上线了 Batch API,你把一堆请求打包提交,模型供应商可以在 24 小时内挑空闲时间处理,作为交换,每 token 的费用直接砍半,部分模型甚至更低。两周测试期跑了超过 23 万个批次,中位数 7 分钟就出结果,90% 的批次在一小时内完成。提交时间比请求数量更影响速度:太平洋时间早上 5 点到中午 12 点最慢,最差的那...

读原文 ↗导出 Markdown