Liquid AI 用“末位偏好优化”把推理模型的死循环率从 10.2% 压到 1.4%
Reducing Doom Loops with Final Token Preference Optimization
Liquid AI 针对小参数推理模型在解难题时容易陷入“死循环”(反复输出同一段话直到窗口耗尽)的问题,搞了个叫 Antidoom 的方法。它不调全局参数,而是精准定位到循环开始的第一个 token,用“末位偏好优化”(FTPO)教模型在那个位置选一个更合理的词,其他地方基本不动。
推荐理由:Liquid AI 将偏好优化集中在死循环起点的单个词元,为小参数推理模型提供尽量不改动其他位置的局部修复思路。