MacArena: Benchmarking Computer Use Agents on an Online macOS Environment

MacArena 是面向 Apple Silicon 原生 Virtualization framework 的 macOS computer-use agent benchmark，包含 421 个手工验证任务、覆盖 50 个应用，混合 OSWorld port、macOSWorld 内容和 49 个新的 macOS-native 任务。论文发现模型在既有 benchmark 上的排序不能稳定外推到 macOS-native 子集，领先模型在 MacArena 子集上落后超过 26%。