club-rdna16:一个在 16GB AMD 显卡上实测本地大模型的仓库
这个仓库用一张 RX 6900 XT(16GB 显存)跑 llama.cpp,后端是 ROCm/HIP,专门验证 AMD 卡在本地跑大模型的实际表现。目前放出的一个亮点是 Qwen3.6 35B-A3B 这个 MoE 模型,用 q8 格式缓存 KV 状态,能稳定撑到 131k 上下文窗口。正文没披露具体的推理速度、功耗和温度数据,所以性能上限和日常可用...
推荐理由:这是一条 Reddit 帖子,不是论文或官方报告。作者把测试仓库公开了,但正文只给了能跑起来的配置条件,没放推理速度、显存占用曲线或可复现的完整日志。我会先打个折:它证明了 16GB A 卡跑大上下文 MoE 模型可行,这点挺省钱,但别急着当生产参考,信息缺口还很大。HKR 三项都踩中了,作为一条给本地 LLM 玩家的实操线索,上 featured 没问题。