每日 Harness 开源 · Source
返回本期 · Back to 2026-06-26

论文 · Papers2026-06-26 · Friday, June 26, 2026

MEMPROBE

arxiv.org原文 ↗

MEMPROBE
MEMPROBE 不问“agent 后来答得像不像”,而是问交互结束后能从 memory artifact 里恢复出多少用户状态。benchmark 覆盖 50 个模拟用户、每人 31 个隐藏维度,共 1,550 个 recovery targets,并测试 5 个代表性 memory system。一个关键发现是任务完成率几乎饱和,memoryless baseline 也能表现不错,但 category-balanced recovery 只有约 0.6,top-k 访问下还会继续下降。
浏览

评论 · Comments