Beyond Static Leaderboards: Predictive Validity for the Evaluation of LLM Agents

这篇讨论 LLM agent 评测的 predictive validity，问题不是某个模型在静态榜单上排第几，而是榜单结果能否预测真实部署中的表现。摘要给出的规模是一个 MCP-based industrial-agent benchmark 的 14 组并行实现研究，覆盖新资产类别、多模态视觉扩展、不同编排方式和检索策略。它把评测焦点从“分数排序”转向“分数是否能指导选型”，这是代理基准进入产业场景后绕不开的问题。