AMD 256核 EPYC 内存带宽达到 RTX 5090 的 91%，跑本地大模型有戏

AMD 新出的 256 核 EPYC 处理器，配了 16 通道 DDR5-12800 内存，内存带宽能达到 RTX 5090 的 91%。对跑本地大模型来说，内存带宽直接决定模型加载和推理时喂数据的速度，带宽越高，大模型跑得越流畅。不过帖子没透露具体型号、价格和上市时间，所以实际能不能买到、多少钱还不清楚。如果是真的，用 CPU 内存跑大模型会比以前快...

还没有足够的连续观测数据，暂不绘制趋势。