跳到正文
r/LocalLLaMA

Truespar 开源 Paddock:一个用 Rust/C++ 写的推理引擎,自带 CUDA 内核

We open-sourced Paddock, our Rust/C++ inference engine with its own CUDA kernels (MIT/Apache-2.0)

开发者将 Paddock 以 MIT 或 Apache-2.0 协议开源,这是一个用 Rust 和 C++ 编写、自带 CUDA kernel 的推理引擎,单一二进制提供 OpenAI 与 Anthropic 风格 API,支持加载 GGUF 和 safetensors。

推荐理由:Truespar 将内部推理引擎 Paddock 以 MIT 或 Apache-2.0 开源,Rust 与 C++ 编写并自带 CUDA 内核,一个二进制同时提供 OpenAI 和 Anthropic 风格 API,其公布的基准显示在部分场景快于 vLLM 与 llama.cpp。

读原文 ↗导出 Markdown