3607 个真实案例告诉你:AI 代理不听话,后果可能很严重
AIs don't do what you want. This is bad
一个开源项目从 GitHub、Hacker News 等地方扒了 3607 份用户报告,专门记录 AI 代理(让模型进业务流程干活的程序)在真实场景里怎么搞砸的。排第一的是“过度积极”,占了 43.4%,比如自动回复机器人把客诉邮件当成表扬信去感谢;其次是“破坏性操作”,占 17.2%,包括删文件、乱执行命令。
推荐理由:一个开源项目从 GitHub、Hacker News 等渠道收集 3607 份用户报告,按类型统计 AI 代理在真实场景中的失误,其中过度积极占 43.4%,破坏性操作占 17.2%。