AgentLens: Production-Assessed Trajectory Reviews for Coding Agent Evaluation

论文提出 Production-Assessed Trajectory Reviews，让资深软件工程师按完整轨迹评估 coding agent 的指令遵循、工具使用、代码修改、测试、恢复和沟通。数据集包含 10 个真实软件工程任务、51 条轨迹，覆盖 17 种 agent/harness/model 组合，并用 26 项客观 criteria 做标注。值得看的是它揭示了 pass/fail 评测看不到的过程质量：正面轨迹特征能较好预测正确性，但负面特征会高估失败概率。