有人租了四张 20GB 3080 跑 Qwen3.6-27B 写代码,速度比四张 5060 Ti 还快
I benched quad 20GB 3080s on Vast AI for code generation with Qwen3.6-27B so you don't have to (it's even better than quad 5060Tis)
作者在 Vast AI 上租了四张 20GB 显存的 RTX 3080,跑 Qwen3.6-27B 模型测代码生成。开了 MTP(多 token 预测)后,在接近 256K 上下文长度时,解码速度跑到每秒 69 个 token;预填充速度掉到每秒 893 个 token,而且测试时没开提示缓存、显卡还锁了功耗,性能可能没跑满。
推荐理由:作者在 Vast AI 租用四张 20GB RTX 3080 实测 Qwen3.6-27B 代码生成,开启 MTP 后接近 256K 上下文时解码达每秒 69 个 token,预填充降至每秒 893 个 token。