跳到正文
Hacker News 首页

Hetzner 开始试水大模型推理 API,目前只挂了一个模型

Hetzner is working on LLM Inference

Hetzner 上线了一个实验性的推理 API,接口兼容 OpenAI 格式,目前只提供 Qwen 3.6 35B FP8 这一个模型。作者实测首 token 延迟中位数 153 毫秒,输出速度每秒 224 个 token,速度不错,但模型连简单的算术题都会做错。现在没有计费、没有 SLA,Hetzner 明说就是想看看需求、测测扩容和负载。

推荐理由:Hetzner 上线实验性推理 API,兼容 OpenAI 格式,目前仅提供 Qwen 3.6 35B FP8,作者实测首 token 延迟中位数 153 毫秒、输出每秒 224 个 token,且无计费与 SLA。

读原文 ↗导出 Markdown