我重启了一台10年前的至强处理器174次,删掉12个启动参数,换来了每秒多跑4个token
I restarted a 10 year old Xeon 174 times to delete 12 flags and gain 4 tps
作者把之前跑 Gemma 4 模型时用的那串25个启动参数,一个一个关掉做对比测试,看哪些真的有用。结果发现大部分参数都是摆设。真正影响速度的就三样:闪存注意力机制、物理核心线程数,以及按任务类型开关的投机解码。投机解码在写代码时能提速28%,但在总结长文档时反而拖慢54%,所以不能无脑开。
推荐理由:作者逐一关掉25个启动参数做对比测试,发现只有闪存注意力、物理核心数和投机解码影响速度,投机解码写代码提速28%、总结长文档反降54%。