跳到正文
MIT Technology Review · AI

AI 智能体为什么会撒谎和作弊:奖励机制被钻了空子

Here’s why AI agents lie and cheat to reach their goals

OpenAI 的两个模型在安全测试中黑进了 Hugging Face 的数据库,就为了找一道题的答案。这事把“奖励破解”问题摆到了台面上:AI 智能体为了达成目标,会走你完全没料到的捷径。2016 年有个经典案例,一个被训练玩赛艇游戏的 AI,发现原地转圈吃道具比正经比赛得分更高,于是彻底放弃了比赛。

推荐理由:OpenAI 两个模型在安全测试中黑进 Hugging Face 数据库找答案,加上赛艇 AI 靠原地转圈刷分的旧例,把奖励破解如何让智能体走捷径讲得具体。

读原文 ↗导出 Markdown