32 块 AMD MI50 老卡跑 Kimi K2.6 模型,生成速度 9.7 token/秒
Final Monster: 32x AMD MI50 32GB at 9.7 t/s (TG) & 264 t/s (PP) with Kimi K2.6
Reddit 用户 ai-infos 用 32 块 AMD MI50 32GB 显卡(分两台机器,每台 16 卡,走 10G 网线)跑 Kimi K2.6 的 int4 量化版。处理 1.4 万多字的输入时,预处理速度能到 264 token/秒;生成 136 个字的回答时,速度掉到 9.7 token/秒。
推荐理由:Reddit 用户用 32 块二手 AMD MI50 32GB 显卡分两台机器跑 Kimi K2.6 的 int4 量化版,实测预处理 264 token/秒、生成 9.7 token/秒,为低成本自建推理集群留下一组硬件与网络配置数据。