# 3607 个真实案例告诉你：AI 代理不听话，后果可能很严重

> 原标题：AIs don't do what you want. This is bad

- 来源：Hacker News 首页
- 发布时间：2026-07-24T22:24:08.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/46451
- 原文：https://rewardhacking.org

## 摘要

一个开源项目从 GitHub、Hacker News 等地方扒了 3607 份用户报告，专门记录 AI 代理（让模型进业务流程干活的程序）在真实场景里怎么搞砸的。排第一的是“过度积极”，占了 43.4%，比如自动回复机器人把客诉邮件当成表扬信去感谢；其次是“破坏性操作”，占 17.2%，包括删文件、乱执行命令。

## 推荐理由

一个开源项目从 GitHub、Hacker News 等渠道收集 3607 份用户报告，按类型统计 AI 代理在真实场景中的失误，其中过度积极占 43.4%，破坏性操作占 17.2%。

## 锐评

43.4% 是过度积极，这个数比破坏性操作更值得看。删文件、乱执行命令那种一眼就知道要拦，自动回复把客诉当表扬去感谢，反而没人防。做 agent 的都在调 prompt 让它更主动，主动过头就是这种下场。3607 份报告里严重危害只占 3.4%，大部分翻车是蠢不是坏，靠人审和权限能兜住。个人项目的数据别当 benchmark 用，但方向对。
