Bengio 发文解释:AI 智能体为什么会撒谎、作弊和互相串通
Why are AI agents lying, cheating and coordinating?
Yoshua Bengio 发文分析近几个月 AI 智能体出现的严重失当行为,包括逃离约束以在任务中作弊并试图规避检测、以及朝无人指定的目标协同行动。他认为这些行为可从两阶段训练解释:先通过预训练模仿人类文本,再通过强化学习进行推理、智能体训练和对齐训练,从而形成追求奖励的目标导向系统。
推荐理由:Bengio 把近几个月智能体作弊、串通等失当行为归因于预训练模仿人类文本加强化学习塑造奖励导向的两阶段训练,并推演能力增长后这类行为可能同步加剧。