跳到正文
r/LocalLLaMA

一台 16GB 显存 + 64GB 内存跑本地代码补全和智能体编程

Local LLM autocomplete + agentic coding on a single 16GB GPU + 64GB RAM

Reddit 用户 grumd 在一张 RTX 5080(16GB 显存)和 64GB 内存的单机上同时跑了两套模型:Qwen2.5-Coder-7B Q6 做代码补全,Qwen3.6-35B-A3B Q8 做智能体编程(让模型自己规划步骤、调用工具写代码)。

推荐理由:Reddit 用户 grumd 在单张 16GB 显存显卡加 64GB 内存的机器上同时运行代码补全与智能体编程两套模型,并列出所用模型、量化方式和上下文长度。

读原文 ↗导出 Markdown