How Much, Then Where

FACTOR 先以 checkpoint-calibrated TD residual 给每个动作分配可守恒 credit，再用反馈条件的 teacher - student likelihood gap 细分到实际 token；动作级归一化避免 token 长度造成符号翻转和权重偏差。ALFWorld、WebShop、ScienceWorld 的每个环境种子都偏向 FACTOR，最长环境的提升最大，超参还能迁移到更大 backbone 和另一模型族。消融显示 TD action credit 是主因，hindsight token allocation 提供补充收益。