跳到正文
Hacker News 首页

Ollaya 让你在本地跑决策模型,一次前向传播出结果,延迟不到 10 毫秒

Ollaya – Ollama for open-source, Jev-style decision models

Ollaya 发布本地决策模型运行时,可在自有硬件上对文本或 JSON 提问并返回带概率的答案,官方称 Laya 在 RTX 4090 上五问请求端到端约 10 ms。

推荐理由:Ollaya 把决策模型做成本地运行时,兼容 TypeSafe 接口,官方称 Laya 在 RTX 4090 上五问请求端到端约 10 毫秒,与云端 API 的 236 至 276 毫秒形成量级对比。

读原文 ↗导出 Markdown