WorldAuditBench：基于多模态智能体的交互式3D世界审计

随着交互式3D世界日益用于研究智能行为，开发高效流水线以识别此类模拟环境中的异常（如悬浮物体、可穿行墙壁或与周围场景不符的物体）变得重要。包含视觉-语言模型（VLMs）与视觉-语言-动作模型（VLAs）的多模态AI系统，已展现自动化该任务的潜力。然而，3D世界审计具有复杂性，需紧密耦合两种不同能力：动作能力，用于在3D世界中导航并系统且高效地搜索异常；视觉推理能力，用于理解环境并从多模态观测中识别异常。多模态智能体能否有效耦合这两种能力，即在利用视觉推理识别潜在异常时采取动作对其进行验证，很大程度上仍有待探索。本文介绍WorldAuditBench，这是一个3D世界审计基准，包含213个异常任务，分布在采用Unreal Engine 5和Three.js构建的13个环境中，涵盖五个异常族。我们在固定探索预算下，采用两种审计范式对五个前沿模型进行评估：基于VLA的探索后接基于VLM的异常识别，以及视觉推理直接指导动作选择的端到端VLM智能体。在评估模型及两种范式下，成功率介于6.6%至42.3%，远低于人类表现（83.4%）。通过世界审计任务，WorldAuditBench提供测试平台以研究多模态智能体如何在交互式3D环境中耦合动作与视觉推理，同时指出其在探索期间收集与解释证据能力的当前局限性。