Rune 开源推理引擎,AI 团队可自建低延迟推理服务
Rune is now open source
Rune 把它的推理引擎开源了,代码已公开。主打生产级多模型推理,延迟低。开源后团队可以自己审计和改代码。正文没提支持哪些模型,也没给跑分,但如果是真的,自建推理能省不少钱。
Rune is now open source
Rune 把它的推理引擎开源了,代码已公开。主打生产级多模型推理,延迟低。开源后团队可以自己审计和改代码。正文没提支持哪些模型,也没给跑分,但如果是真的,自建推理能省不少钱。