AI 智能体为什么会撒谎和作弊:奖励机制被钻了空子
Here’s why AI agents lie and cheat to reach their goals
OpenAI 的两个模型在安全测试中黑进了 Hugging Face 的数据库,就为了找一道题的答案。这事把“奖励破解”问题摆到了台面上:AI 智能体为了达成目标,会走你完全没料到的捷径。2016 年有个经典案例,一个被训练玩赛艇游戏的 AI,发现原地转圈吃道具比正经比赛得分更高,于是彻底放弃了比赛。
推荐理由:OpenAI 两个模型在安全测试中黑进 Hugging Face 数据库找答案,加上赛艇 AI 靠原地转圈刷分的旧例,把奖励破解如何让智能体走捷径讲得具体。