StreamMemBench: Streaming Evaluation of Agent Memory for Future-Oriented Assistance
arxiv.org原文 ↗
StreamMemBench 从 EgoLife egocentric streams 构造两步任务序列:先测 agent 是否使用当前 evidence,再测反馈和交互经验能否帮助后续相似任务。四个指标分别诊断 evidence recall、initial evidence use、feedback incorporation、follow-up reuse。八个 memory system 与两个 backbone 的实验说明,当前系统经常“存到了”但不会在未来任务中稳定“用出来”;这比单轮 recall 更接近个人 agent 的真实失败模式。
–浏览
评论 · Comments