研究团队于2026年10月22日向arXiv提交论文《AgentVQA: A Unified Benchmark for Agentic Visual Understanding》，提出一个用于评估视觉语言模型在智能体场景中表现的离线基准。论文指出，现有在线评测依赖模拟器或真实环境，成本较高且难以大规模开展，而已有离线视觉问答基准在智能体任务上的覆盖仍较为分散。论文原文
AgentVQA覆盖网页智能体、机器人、第一视角视频、游戏和空间规划五类场景。研究者从23个来源数据集中人工筛选1000个具有挑战性的真实世界智能体样例，并将其改编为离线评测任务。论文称，该基准保留了交互式环境中的现实任务特征，其模型排名与对应在线评测结果具有一致趋势。
在论文评估的22个模型中，表现最佳的模型准确率为58.5%。跨领域分析显示，错误主要来自视觉状态建模不足，包括无法定位相关界面元素、理解运动、持续跟踪状态变化，以及推断三维空间关系；论文认为，任务误解或后续逻辑推理并不是主要瓶颈。
这项工作反映出，面向智能体的视觉能力评估正在从单一图像问答扩展到动态、交互和空间状态理解。不过，该材料目前是arXiv预印本，文中结论主要依据作者摘要及其自建评测，尚不能等同于经过完整同行评审的行业共识。
参考来源：
由 AI 整理，仅供参考；请以原始来源为准。
