Measure Before You Manage: Evaluating Agent Working Memory in Coding Agents
arxiv.org原文 ↗
研究将 coding agent 的工作记忆按指令、工件、工具输出和内部状态分类,回放 55 条历史轨迹后发现不同语义对象的保留曲线和压缩代价并不相同。object-aware 压缩和 retrieval 策略在校准集上的收益无法稳定迁移到留出任务,相同 token 上限也不保证同样的 delivered context。作者因此把评测分成 stored state、delivered context、management work 和最终任务结果四层,并在真实服务回放中验证名义预算会掩盖运行时瓶颈。
–浏览
评论 · Comments