对齐了谁?一个软件工程师对模型默认行为的信任危机
作者以资深软件工程师的视角指出,模型产出的代码经常带着过度防御、糟糕的模式,这些“水货”之所以出现,是因为外行在训练中奖励了这些行为。模型的默认倾向本身就不可靠,而这个问题会蔓延到所有自动评分、评估标准和研究员身上,层层叠加。模型缺乏长期一致性和“对未来后悔的恐惧”,让智能体干活并保持系统长期不乱套,目前根本没解决。文章没给解法,只把对齐问题摊开:模型...
推荐理由:这篇文章没给解法,但把对齐问题从“模型有没有对齐人类”拉回到“对齐了哪一类人”,角度很刁。作者用自己写代码的体验当证据,说模型默认产出过度防御、模式糟糕的代码,是因为外行在训练中奖励了这些行为,这个判断具体且带刺。文章还指出自动评分和评估标准会层层放大偏差,智能体缺乏长期一致性,这些点对做智能体的读者来说很扎心。我会先打个折:全文是个人视角,没有系统验证,但作为一篇引发讨论的从业者吐槽,它够尖锐、够好读,所以给 72 分放在 featured 里。