# Liquid AI 用“末位偏好优化”把推理模型的死循环率从 10.2% 压到 1.4%

> 原标题：Reducing Doom Loops with Final Token Preference Optimization

- 来源：Hacker News 首页
- 发布时间：2026-07-07T16:31:19.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/42943
- 原文：https://www.liquid.ai/blog/antidoom

## 摘要

Liquid AI 针对小参数推理模型在解难题时容易陷入“死循环”（反复输出同一段话直到窗口耗尽）的问题，搞了个叫 Antidoom 的方法。它不调全局参数，而是精准定位到循环开始的第一个 token，用“末位偏好优化”（FTPO）教模型在那个位置选一个更合理的词，其他地方基本不动。

## 推荐理由

Liquid AI 将偏好优化集中在死循环起点的单个词元，为小参数推理模型提供尽量不改动其他位置的局部修复思路。

## 锐评

死循环率从 10.2% 压到 1.4%，这个降幅挺实在，但只在一个 2.6B 的早期 checkpoint 上验证过，泛化能力存疑。FTPO 的思路是只改循环起点的第一个 token，不动全局参数，这个方向对，小模型跑推理任务最怕的就是吐到窗口耗尽还在原地打转，token 账单直接翻倍。问题是 2.6B 的模型和 70B 的行为模式差很远，小模型容易卡死的地方大模型可能压根不会去，反过来也一样。如果这个方法能跨模型规模复现，对跑小模型做 agent 的人确实省钱，但现在只有一个点的数据，先当个有意思的思路看。
