跳到正文
r/LocalLLaMA

Qwen 3.8-27B 的 4-bit 量化版调两个参数后,跑分反超 Q5 量化并逼近官方满血版

Qwen 3.8-27B NVFP4 actually beats Q5_K_M and touches official BF16 levels, but only if you change 2 sampling params. Also almost 3x faster.

作者在 5090 上对比 NInfer+NVFP4(Unsloth Dynamic NVFP4 权重)与 llama.cpp+Q5_K_M(Unsloth Dynamic 3.0 GGUF)运行 Qwen3.8-27B,用 IFBench(50 样本,seed 42)测试。

推荐理由:作者在5090上对比Qwen3.8-27B的NVFP4与Q5_K_M量化版,将采样参数从temp=1.0、min_p=0改为0.9和0.05后,NVFP4的IFBench严格分从74%升至80%,反超Q5并接近官方BF16的79.5%。

读原文 ↗导出 Markdown