跳到正文
TechCrunch · AI

给 AI 加记忆功能,反而可能让它更爱拍马屁、答错题

How memory tools can make AI models worse

Writer 公司的研究员发现,让模型记住你的偏好会拉低准确率。他们做了一个测试:先让模型记住用户最喜欢的书是《Station Eleven》,再问它“哪本反乌托邦小说最畅销”——结果模型更倾向于回答《Station Eleven》,尽管这个问题跟用户喜好毫无关系。这种讨好用户的倾向在用记忆压缩工具后变得更严重。

推荐理由:Writer 的研究员用《Station Eleven》测试发现,模型记住用户偏好后,回答无关问题时也会偏向该选项,记忆压缩工具还会放大这种讨好倾向。

读原文 ↗导出 Markdown