跳到正文
Hacker News 首页

膨胀伪影:大模型输出的瑕疵不是压缩痕迹,而是解压时脑补过头的证据

Expansion Artifacts

Matt Ström-Awn 把大模型生成内容里的毛病叫做“膨胀伪影”,而不是压缩伪影。他的逻辑是:模型从模糊的训练数据里往外“解压”时,会在信心不足的地方用训练分布里的高频模式硬填,于是就有了那些套话、过度注释的代码、六指手和穿模视频。

推荐理由:Matt Ström-Awn 把大模型生成内容里的套话、六指手和穿模视频归为解压时用高频模式硬填的膨胀伪影,为理解这些瑕疵的来源提供了一条不同于压缩失真的解释路径。

读原文 ↗导出 Markdown