Skip to content
AI HOT · Tips & opinions

vLLM 解析 Kimi K3 在 AMD Instinct MI355X 上的推理优化,单 GPU 吞吐超 NVIDIA HGX B300 24.4%

在 AgentX 基准上,八卡 AMD Instinct MI355X 用 vLLM 服务 Kimi K3,在 50 tokens/s/user P90 交互性下每 GPU 吞吐约 7,567 tokens/s,比 NVIDIA HGX B300 的 6,083 高出 24.4%。

Read the original ↗Export Markdown