转推 elvis:智能体中的权重记忆与检索之争。亚马逊的出色工作。这项研究表明,权重记忆在回忆用户事实方面可以胜过文本记忆……
亚马逊研究人员的研究表明,权重记忆——把用户事实存入模型权重——在回忆方面可以胜过文本检索:在线自蒸馏达到 59.9% 的准确率,超过了普通微调(36.9%)和 MemOS 式检索(47.8%)。一个能读取用户记忆的教师模型训练学生模型在没有记忆的情况下作答,且这一提升在不同用户和 4B、9B、27B 规模下都成立。这个结果之所以重要,是因为它指向无需检索上下文也能记住用户的智能体,不过权重记忆仍会遗忘较早的事实,也无法判断某件事是否从未被记录过。
报道来源
- Elvis Saravia2026-11-06 14:43