《超越下游问答：重新思考如何评估智能体记忆》(arXiv:2610.22209)

这篇论文指出，用下游问答准确率来评价智能体记忆从根本上是不完整的，因为它把记忆本身的正确性与检索、生成的质量混为一谈，会同时产生假阳性和假阴性。作者提出 FEB-30 基准，包含 30 条带确定性真值的事实演化轨迹，可直接检查记忆库的内容；在一个代表性系统上，内在评价与外在评价平均相差 16 个百分点，且系统对记忆操作的分类正确率仅为 20%——这一失败完全无法被问答式评价发现。该基准、文档生成管线和评分框架均已公开发布。

• Rohan Paul2026-10-19 06:02