Truespar 开源 Paddock：一个用 Rust/C++ 写的推理引擎，自带 CUDA 内核

We open-sourced Paddock, our Rust/C++ inference engine with its own CUDA kernels (MIT/Apache-2.0)

Truespar 把他们内部用的推理引擎 Paddock 开源了，MIT 或 Apache-2.0 协议随便选。这个引擎用 Rust 和 C++ 写成，有自己的 CUDA 内核，一个二进制文件就能同时提供 OpenAI 和 Anthropic 风格的 API，支持加载 GGUF 和 safetensors 格式的模型。他们公司每年大概要跑 3000 亿...

推荐理由：Truespar 把自家用的推理引擎 Paddock 完整开源了，Rust 和 C++ 写的，自带 CUDA 内核，一个二进制就能同时提供 OpenAI 和 Anthropic 风格的 API，支持 GGUF 和 safetensors 格式。他们每年跑大约 3000 亿次推理，这次是把内部仓库直接公开。我会先打个折——目前只有一篇 Reddit 帖子，没有第三方验证，3000 亿这个数字也是他们自己说的。但 13 组基准测试数据摆在那，比 vLLM 快一点，比 llama.cpp 的 Q8_0 快一大截，对搞本地推理和自建服务的人是个硬通货。开源...