一台 16GB 显存 + 64GB 内存跑本地代码补全和智能体编程

Local LLM autocomplete + agentic coding on a single 16GB GPU + 64GB RAM

Reddit 用户 grumd 在一张 RTX 5080（16GB 显存）和 64GB 内存的单机上同时跑了两套模型：Qwen2.5-Coder-7B Q6 做代码补全，Qwen3.6-35B-A3B Q8 做智能体编程（让模型自己规划步骤、调用工具写代码）。35B 那个模型用了内存卸载，上下文能撑到约 145k，速度是每秒 35.29 个 token...

推荐理由：这是一篇 Reddit 个人实验帖，不是系统评测，没有对比其他方案或验证稳定性，所以我会先打个折。但作者把模型、量化方式、上下文长度和吞吐都列清楚了，对想在自己机器上搭本地编程助手的开发者有直接参考价值。正文没披露功耗、并发表现和长上下文下的准确率，这点先别太激动。