Reddit 网友用英特尔傲腾持久内存攒了一台机器,本地跑 1 万亿参数模型,速度超过 4 token/秒
Computer build using Intel Optane Persistent Memory - Can run 1 trillion parameter model at over 4 tokens/sec
Reddit 用户 APFrisco 分享了一套硬件方案:用 768GB 英特尔傲腾持久内存(Optane PMem)当主存储,搭配 192GB DDR4 ECC 内存和一张 12GB 显存的 RTX 3060 显卡,通过 llama.cpp 的混合推理(CPU+GPU)。
推荐理由:Reddit 用户用 768GB 傲腾持久内存搭配 RTX 3060,在本地以超过 4 token/秒跑起 1 万亿参数模型,展示了 llama.cpp 混合推理在低成本硬件上的可行路径。