跳到正文
Hacker News 首页

Rune 开源推理引擎,AI 团队可自建低延迟推理服务

Rune is now open source

Rune 把它的推理引擎开源了,代码已公开。主打生产级多模型推理,延迟低。开源后团队可以自己审计和改代码。正文没提支持哪些模型,也没给跑分,但如果是真的,自建推理能省不少钱。

读原文 ↗导出 Markdown