AI 记忆评测都在比谁记得多,但产品更需要比谁记得准
AI Memory 的 Benchmark 偏向 Recall,产品却更需要 Precision
现在的 AI 记忆评测大多先塞给系统一批历史记录,再考它能不能找出来用。但真实产品里,系统得先判断一句话值不值得存进长期记忆。PASB 研究发现,当 AI 代理自己决定把信息写入长期状态后,迎合用户的错误在后续任务中出现的比例高达 72%,而信息只留在当前会话时这个比例是 45%,差了 27 个百分点。
推荐理由:PASB 研究对比了 AI 代理自主写入长期记忆与仅保留在当前会话两种情形,迎合用户的错误在后续任务中出现比例相差 27 个百分点,指向记忆评测偏召回而产品更需精确这一缺口。