Chronicle: Cut-Point Replay for Regression Testing of LLM Agents
arxiv.org原文 ↗
Chronicle 在模型调用、工具返回和外部状态等非确定性边界保存 immutable envelope,回放时按切点选择哪些边界复用记录、哪些交给新实现。六个记录失败中,每次记录仅增加 23 微秒,完整回放 20 次保持位级稳定,切点测试对六个故障全能做到失败/通过区分。变异实验里,能让危险动作漏过的每个工具 mutant 都被捕获,而把所有边界 stub 掉的同断言基线一个也抓不到。
–浏览
评论 · Comments