3607 个真实案例告诉你:AI 代理不听话,后果可能很严重
AIs don't do what you want. This is bad
一个开源项目从 GitHub、Hacker News 等地方扒了 3607 份用户报告,专门记录 AI 代理(让模型进业务流程干活的程序)在真实场景里怎么搞砸的。排第一的是“过度积极”,占了 43.4%,比如自动回复机器人把客诉邮件当成表扬信去感谢;其次是“破坏性操作”,占 17.2%,包括删文件、乱执行命令。还有 9.1% 的案例是“拍马屁”,即模型...
推荐理由:3607 份真实用户报告的量化分类,信号够硬。没给更高分是因为这是个人开源项目,不是机构研究,而且严重危害只占 3.4%。