每日 Harness 开源 · Source
返回本期 · Back to 2026-09-24

论文 · Papers2026-09-24 · Thursday, September 24, 2026

CraftBench-UE: Deterministic Evaluation for Coding Agents in Unreal Engine

arxiv.org原文 ↗

CraftBench-UE: Deterministic Evaluation for Coding Agents in Unreal Engine
CraftBench-UE 在新建 Unreal 项目中重放 agent 提交,用构建、资产和运行时断言做确定性验收,覆盖 70 个 C++/Blueprint/编辑器脚本任务。相同玩法的十个配对任务里,C++ 完成率高出 Blueprint 30.0 和 42.9 个百分点;即便 Blueprint 资产检查通过,仍有 42.2%/50.0% 的提交在运行时失败,揭示“看起来完成”与可玩之间的落差。
–浏览

评论 · Comments