每日 Harness 开源 · Source
返回本期 · Back to 2026-09-09

博客文章 · Blog Posts2026-09-09 · Wednesday, September 9, 2026

How well do agents use test/verification techniques?

danluu.com原文 ↗

How well do agents use test/verification techniques?
Dan Luu 在 Rust Zstd 任务上比较 26 种测试/验证提示条件,使用约 160 次运行和隐藏测试通过率衡量效果。没有方法大幅领先,默认条件反而高于平均;代理常写恒真形式化证明、低价值随机测试,TDD 虽让预先失败测试从 0 增至 67/160,却更容易漏掉四流跳表难例。结论不是“测试无用”,而是仅告诉 agent 技术名不足以传递真正的测试策略。
–浏览

评论 · Comments