Otap: Structure-Aware Optimal Transport for Evaluating Planning and Execution in Agent Trajectories
arxiv.org原文 ↗
OTAP 用结构感知最优传输对齐两条代理轨迹，不要求动作逐位置完全一致，而是比较计划、工具调用及其依赖关系。作者报告该指标与人工判断的相关性最高可达 0.92，并能区分“计划合理但执行失败”和“结果碰巧正确”的轨迹。它补足了只看最终答案的评测盲区，不过距离函数和结构权重仍会影响解释。
–浏览
评论 · Comments