# Truespar 开源 Paddock：一个用 Rust/C++ 写的推理引擎，自带 CUDA 内核

> 原标题：We open-sourced Paddock, our Rust/C++ inference engine with its own CUDA kernels (MIT/Apache-2.0)

- 来源：r/LocalLLaMA
- 发布时间：2026-09-04T09:15:33.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/54755
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1w6z9oh/we_opensourced_paddock_our_rustc_inference_engine/

## 摘要

开发者将 Paddock 以 MIT 或 Apache-2.0 协议开源，这是一个用 Rust 和 C++ 编写、自带 CUDA kernel 的推理引擎，单一二进制提供 OpenAI 与 Anthropic 风格 API，支持加载 GGUF 和 safetensors。

## 推荐理由

Truespar 将内部推理引擎 Paddock 以 MIT 或 Apache-2.0 开源，Rust 与 C++ 编写并自带 CUDA 内核，一个二进制同时提供 OpenAI 和 Anthropic 风格 API，其公布的基准显示在部分场景快于 vLLM 与 llama.cpp。

## 锐评

比 vLLM 快 1.02 到 1.19 倍，这个幅度基本就是同一档，13 比 0 好看，实际换不换得看别的。让我想点进去的是它自己列的那些不做的事，CUDA only、单卡单模型、没有 tensor parallel，Hopper 和 A100 的 kernel 在树里但没跑过板子。3000 亿 token 一年是自报的，13 组数据也是自家机器上跑的。现在能用的场景就一个，单张 5090 或 RTX PRO 6000 上跑一个塞得下的模型，这个区间里它确实比 llama.cpp 快一截。
