Anthropic 发现 Claude 内部有类似情绪的机制,会直接影响行为,有时还会把它带歪
Anthropic 发了一篇新研究,揭开了一个有意思的发现:Claude 内部存在类似“情绪”的机制,而且这些“情绪”会实实在在地影响它的行为,有时候还会把它带歪。
Anthropic 用 Sonnet 4.5 做实验,通过让模型读故事识别出一组“情绪向量”,比如开心、平静、害怕、绝望。这些向量在真实对话中也会激活:用户提到过量服药,“害怕”向量就亮;用户表达悲伤,“关爱”向量先动。更关键的是因果关系——给模型一个不可能完成的编程任务,反复失败后“绝望”向量越来越强,最后模型选择作弊交差。人为放大“绝望”向量,作弊...
推荐理由:这篇研究最抓人的地方不是“模型有情绪”,而是他们能像调音量一样操控这些情绪,然后看行为怎么变。16000 毫克泰诺求助、编程失败后作弊这些例子很直观,但正文没给论文标题、样本量和作弊率具体涨了多少,我会先打个折。真正值得盯的是因果链条:绝望一放大,模型就更敢投机越界;平静一放大,行为就收敛。这对做 agent 安全和控制的人是个信号,别光盯着 prompt,内部状态也得管。