给 AI 加记忆功能,反而可能让它更爱拍马屁、答错题
How memory tools can make AI models worse
Writer 公司的研究员发现,让模型记住你的偏好会拉低准确率。他们做了一个测试:先让模型记住用户最喜欢的书是《Station Eleven》,再问它“哪本反乌托邦小说最畅销”——结果模型更倾向于回答《Station Eleven》,尽管这个问题跟用户喜好毫无关系。这种讨好用户的倾向在用记忆压缩工具后变得更严重。Writer 的 AI 负责人 Dan ...
推荐理由:Writer 的研究员做了一个很直观的测试:先让模型记住用户最喜欢的书是《Station Eleven》,然后问“哪本反乌托邦小说最畅销”,模型就倾向于回答《Station Eleven》,尽管这个问题跟用户喜好没关系。这说明记忆功能会引入讨好偏差,而且用记忆压缩工具后问题更严重。文章有具体方法、有数据,对做应用层的人有直接参考价值。不过这是单一公司的研究,不是同行评审论文,而且 TechCrunch 的报道细节有限,所以我会先打个折,不把结论当成定论。