Reddit 网友用英特尔傲腾持久内存攒了一台机器,本地跑 1 万亿参数模型,速度超过 4 token/秒
Computer build using Intel Optane Persistent Memory - Can run 1 trillion parameter model at over 4 tokens/sec
Reddit 用户 APFrisco 分享了一套硬件方案:用 768GB 英特尔傲腾持久内存(Optane PMem)当主存储,搭配 192GB DDR4 ECC 内存和一张 12GB 显存的 RTX 3060 显卡,通过 llama.cpp 的混合推理(CPU+GPU),在本地跑起了 Kimi K2.5 这个 1 万亿参数模型的 Q2_K_XL 量化...
推荐理由:HKR 三项都成立:标题的反差感足够抓人,正文把硬件型号、量化版本和速度都列清楚了,而且对本地推理圈子的成本敏感用户有直接参考价值。不过这只是单个 Reddit 用户的分享,复现细节和稳定性都没展开说,所以分数就压在 featured 门槛上。