我重启了一台10年前的至强处理器174次,删掉12个启动参数,换来了每秒多跑4个token
I restarted a 10 year old Xeon 174 times to delete 12 flags and gain 4 tps
作者把之前跑 Gemma 4 模型时用的那串25个启动参数,一个一个关掉做对比测试,看哪些真的有用。结果发现大部分参数都是摆设。真正影响速度的就三样:闪存注意力机制、物理核心线程数,以及按任务类型开关的投机解码。投机解码在写代码时能提速28%,但在总结长文档时反而拖慢54%,所以不能无脑开。另外,自动调参的草稿模型设置对长文本处理很不友好,关掉反而更快...
推荐理由:一篇给本地推理玩家看的硬核调参笔记,用174次重启的笨功夫换来了三个能直接落地的结论:大部分启动参数没用,投机解码要按任务开关,自动调参对长文本是坑。标题会勾人,内容有干货,但话题太窄,出了本地推理圈子就没声量了。