# Ollaya 让你在本地跑决策模型，一次前向传播出结果，延迟不到 10 毫秒

> 原标题：Ollaya – Ollama for open-source, Jev-style decision models

- 来源：Hacker News 首页
- 发布时间：2026-09-25T18:33:50.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/58902
- 原文：https://ollaya.dev/

## 摘要

Ollaya 发布本地决策模型运行时，可在自有硬件上对文本或 JSON 提问并返回带概率的答案，官方称 Laya 在 RTX 4090 上五问请求端到端约 10 ms。

## 推荐理由

Ollaya 把决策模型做成本地运行时，兼容 TypeSafe 接口，官方称 Laya 在 RTX 4090 上五问请求端到端约 10 毫秒，与云端 API 的 236 至 276 毫秒形成量级对比。

## 锐评

8 到 10 毫秒这个数挺唬人，但 output_tokens 为 0 才是关键。决策模型一次前向传播出结果，不逐字吐 token，agent 里那些分类、路由、打分的调用就从按量计费变成一次性算力。这类活本来就不该用生成模型干，一个 intent 判断烧几百个输出 token 纯属浪费。Ollaya 直接兼容 TypeSafe 的 API，SDK 改个 base_url 就能指到本地，迁移成本几乎为零。现在只有一个 Laya 加几个小模型，生态还早，方向对。
