MEMPROBE
arxiv.org原文 ↗
MEMPROBE 不问“agent 后来答得像不像”,而是问交互结束后能从 memory artifact 里恢复出多少用户状态。benchmark 覆盖 50 个模拟用户、每人 31 个隐藏维度,共 1,550 个 recovery targets,并测试 5 个代表性 memory system。一个关键发现是任务完成率几乎饱和,memoryless baseline 也能表现不错,但 category-balanced recovery 只有约 0.6,top-k 访问下还会继续下降。
–浏览
评论 · Comments