Ollaya 让你在本地跑决策模型,一次前向传播出结果,延迟不到 10 毫秒
Ollaya – Ollama for open-source, Jev-style decision models
Ollaya 发布本地决策模型运行时,可在自有硬件上对文本或 JSON 提问并返回带概率的答案,官方称 Laya 在 RTX 4090 上五问请求端到端约 10 ms。
推荐理由:Ollaya 把决策模型做成本地运行时,兼容 TypeSafe 接口,官方称 Laya 在 RTX 4090 上五问请求端到端约 10 毫秒,与云端 API 的 236 至 276 毫秒形成量级对比。