# club-rdna16：一个在 16GB AMD 显卡上实测本地大模型的仓库

> 原标题：club-rdna16: practical 16GB AMD/Radeon local LLM testing repo

- 来源：r/LocalLLaMA
- 发布时间：2026-05-23T03:16:23.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/25939
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1tl4o1m/clubrdna16_practical_16gb_amdradeon_local_llm/

## 摘要

这个仓库用一张 RX 6900 XT（16GB 显存）跑 llama.cpp，后端是 ROCm/HIP，专门验证 AMD 卡在本地跑大模型的实际表现。目前放出的一个亮点是 Qwen3.6 35B-A3B 这个 MoE 模型，用 q8 格式缓存 KV 状态，能稳定撑到 131k 上下文窗口。

## 推荐理由

作者公开了在 RX 6900 XT 上跑 llama.cpp 的测试仓库，其中 Qwen3.6 35B-A3B 以 q8 缓存 KV 状态可稳定撑到 131k 上下文，为 16GB AMD 显卡的本地部署留下一份实测配置参考。

## 锐评

16GB 显存撑到 131k 上下文，这个数字比仓库本身有意思。MoE 加 q8 缓存 KV 是省显存的老办法，35B-A3B 激活参数小，能塞进 16G 不意外，但 131k 这个量级说明 KV 压缩确实做对了。可惜只有配置条件，没有速度、没有显存曲线，跑得动和跑得舒服是两回事。AMD 卡本地跑大模型一直卡在软件栈，ROCm 能跑起来就值得记一笔，但拿这个当生产参考还早。
