vLLM 解析 Kimi K3 在 AMD Instinct MI355X 上的推理优化，单 GPU 吞吐超 NVIDIA HGX B300 24.4%
在 AgentX 基准上，八卡 AMD Instinct MI355X 用 vLLM 服务 Kimi K3，在 50 tokens/s/user P90 交互性下每 GPU 吞吐约 7,567 tokens/s，比 NVIDIA HGX B300 的 6,083 高出 24.4%。
在 AgentX 基准上，八卡 AMD Instinct MI355X 用 vLLM 服务 Kimi K3，在 50 tokens/s/user P90 交互性下每 GPU 吞吐约 7,567 tokens/s，比 NVIDIA HGX B300 的 6,083 高出 24.4%。