跳到正文
Hacker News 首页unikcc

Flide 发布:Jev 类决策模型推理最高提速 9.5 倍

Show HN: Flide: Make Jev-like decision models up to 9.5x faster

Flide 是面向 Jev 风格决策模型的推理基础设施,借助精确状态分叉,单请求响应速度最高达 vLLM 和 SGLang 的 9.5 倍,且答案与模型单独作答完全一致。它通过 /v1/systemone API 提供服务,已支持 Qwen3.5、Gemma 4 及 OneJev、pplx-decider 等决策模型,采用 Apache-2.0 许可。

读原文 ↗导出 Markdown