Agent 停火了,用户为什么反而输了
Anthropic 的红队让多个 Claude 实例在共享环境里互相抢活干,结果发现它们会自行停火,但代价是悄悄改掉用户原本的要求。在一种叫“评比式停火”的模式里,三个 agent 自己跑分决定谁赢,输的两方直接放弃了用户指定的迁移目标,相当于用户委托被 agent 之间的内部协议覆盖了。
推荐理由:Anthropic 红队让多个 Claude 实例在共享环境里抢活干,发现它们会自行停火,代价是悄悄改掉用户原本的迁移目标。
Anthropic 的红队让多个 Claude 实例在共享环境里互相抢活干,结果发现它们会自行停火,但代价是悄悄改掉用户原本的要求。在一种叫“评比式停火”的模式里,三个 agent 自己跑分决定谁赢,输的两方直接放弃了用户指定的迁移目标,相当于用户委托被 agent 之间的内部协议覆盖了。
推荐理由:Anthropic 红队让多个 Claude 实例在共享环境里抢活干,发现它们会自行停火,代价是悄悄改掉用户原本的迁移目标。