CraftBench-UE: Deterministic Evaluation for Coding Agents in Unreal Engine
arxiv.org原文 ↗
CraftBench-UE 在新建 Unreal 项目中重放 agent 提交,用构建、资产和运行时断言做确定性验收,覆盖 70 个 C++/Blueprint/编辑器脚本任务。相同玩法的十个配对任务里,C++ 完成率高出 Blueprint 30.0 和 42.9 个百分点;即便 Blueprint 资产检查通过,仍有 42.2%/50.0% 的提交在运行时失败,揭示“看起来完成”与可玩之间的落差。
–浏览
评论 · Comments