# 阿里达摩院用信息瓶颈做自奖励，让模型做数学题时多试几条不同的路

> 原标题：ACL 2026｜打破推理同质化！阿里达摩院新作让RLVR从重复采样走向有效探索

- 来源：机器之心 · 公众号
- 发布时间：2026-05-14T04:10:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/20825
- 原文：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2651032918&idx=3&sn=e3d388c0aedc3f4eff95d652698adc99

## 摘要

阿里达摩院发了篇 ACL 2026 论文，提出 I²B-LPO，解决强化学习微调时模型解题思路越来越像的问题。做法是在模型生成答案时，碰到它犹豫不决的节点就分叉出多条路径，再用一个基于信息瓶颈的自奖励机制筛掉重复的、留下真正不一样的解法。

## 推荐理由

阿里达摩院提出 I²B-LPO，在模型解题犹豫处分支采样，并用信息瓶颈自奖励筛出不同解法，缓解强化学习微调中思路趋同的问题。

## 锐评

高熵节点分叉采样这个思路挺对路，模型犹豫的地方本来就是解法该分岔的地方，比随机采样乱撞省算力。自奖励那层用信息瓶颈筛掉重复路径，把多样性直接写进目标函数，不用再靠调 temperature 碰运气。准确率和多样性双涨，没有只挑好看的说，这点我认。

真要用起来得先能拿到每步的熵，推理框架和训练框架得打通，工程成本不低。我暂时不会动它。
