Training Needs Trustworthy Worlds: Verified Environment Synthesis for Web Agents

方法先生成页面、导航、数据库、状态标记和约束，再依次验证结构、语义、一致性与任务可行性，最后用确定性 UI 转移和后端状态变化产生稠密谓词奖励。六个领域的 500 个环境经过修复后，可行任务率从 48.6% 升至 94.8%。在这些世界里做 PPO 的代理能迁移提升 WebArena、WebShop 与 MiniWoB++，且评测不靠另一个 LLM 裁判，减少了合成环境与奖励同时漂移的风险。