华为泰勒实验室等提出 SHAPE,给大模型推理加一道“推理税”,答得更准还能少写废话
ACL 2026|答得更准还写得更短?华为泰勒实验室提出SHAPE,给LLM推理装了个「推理税」
华为泰勒实验室、北大和上海财大在 ACL 2026 发了一篇论文,提出 SHAPE 方法,核心思路是给模型的长篇推理加一道“推理税”。具体做法是:先用熵值把推理过程切成段,再用短距离试探估算每段的潜力,然后对后期又长又没带来实质进展的段落做动态长度打折,最后把奖励分配到每个 token 上。结果平均准确率涨了约 3%,同时 token 用量砍了约 30...
推荐理由:这篇论文最抓人的地方不是那 3% 的准确率提升,而是它把“模型靠啰嗦刷分”这件事直接拎出来收税。SHAPE 用熵值把推理过程切成段,拿短 rollout 估算每段的“势能”,高势能的后期长段落会被长度折扣重罚,逼着模型别在确认步骤上浪费 token。结果就是数学题答得更准,输出还短了约三成。我会先打个折:正文没披露这 30% 的 token 节省是在哪些模型和数据集上测的,也没说短 rollout 本身的计算开销有多大,所以实际部署省不省钱还得看具体场景。但思路本身很直接,把推理效率问题从“事后裁剪”挪到了“训练时就定价”,对做推理优化的团队来说是...