AsyncWebRL

AsyncWebRL 处理视觉 web agent 多步 RL 的系统低效和轨迹低效：异步重叠 rollout、梯度更新和 policy refresh，并用 everlasting rollout pool 与轻量截图处理减少等待。系统侧最高比 WebGym 端到端训练吞吐快 2.9 倍；算法侧把 GRPO 中按轨迹长度归一的问题替换为常数 1/k，减少失败长轨迹对学习信号的扭曲。它在 WebGym OOD 上相对 42.9% prior best 提升 5.8%，Hard slice 的相对增益达到 48%。