AFFORDANCE20Q: Evaluating Affordance Reasoning from Physical Properties
arxiv.org原文 ↗
AFFORDANCE20Q 用 20 Questions 游戏评测模型能否从物体形状、材质等物理属性推断 affordance,而不是看到物体名后调用记忆映射。数据集包含 1,009 个游戏、454 个物体和 59 类 affordance,全部经过人工过滤、细化与标注。15 个先进 LLM 与人类仍有约 20 分差距,KARI 规则归纳能让开源模型最高提升 15.2 分;这让“物理常识”从问答题变成了信息增益式的主动询问问题。
–浏览
评论 · Comments