在 13 年前的老至强 CPU 上跑 Gemma 4 26B 模型,每秒 5 个 token
Running Gemma 4 26B at 5 tokens/SEC on a 13-year-old Xeon with no GPU
作者把谷歌的 Gemma 4 26B 模型(一种混合专家模型,每次只激活部分参数)塞进了一台 2013 年的惠普存储服务器,双路至强 E5-2690 v2,没显卡,整机成本不到 300 美元。跑起来后生成速度约每秒 5.2 个 token,跟人阅读速度差不多。
推荐理由:作者在2013年的双路至强服务器上无显卡运行Gemma 4 26B混合专家模型,整机成本不到300美元,生成速度约每秒5.2个token,接近人的阅读速度。