WorldSimProbe: 행동 기반 세계 모델에서 구현된 로봇 제어를 위한 시뮬레이터의 정확성 진단

WorldSimProbe: Diagnosing Simulator Faithfulness in Action-Conditioned World Models for Embodied Manipulation

행동 기반 세계 모델(ACWM)은 계획 수립, 정책 평가 및 데이터 생성에 필요한 확장 가능한 예측 시뮬레이터를 통해 구체화된 인공지능 시스템을 제공할 잠재력이 있습니다. 이 가능성을 실현하려면 단순한 타당성 있는 결과물뿐만 아니라 정확한 행동 기반의 상태 변화가 필요합니다. 그러나 기존의 평가는 주로 시각적 품질, 작업 수행 결과 또는 거친 수준의 반응성에 초점을 맞추기 때문에 ACWM의 적용 가능성을 확인하기 어렵습니다. 이러한 격차를 해소하기 위해, 우리는 물리 시뮬레이터에서 기대되는 관찰 가능한 능력을 통해 ACWM을 평가합니다. 이를 위해 우리는 모든 행동 기반 물리 시뮬레이터가 만족해야 하는 최소한의 조건인 '관찰 가능한 시뮬레이터 계약(Observable Simulator Contract)'을 정의했습니다. 이 계약에 따르면, 제공된 행동은 해당 로봇의 움직임을 유발하고, 환경의 반응은 실제화된 움직임에 근거해야 합니다. 이 계약을 실현하기 위해, 우리는 지역적인 제어 민감도, 전반적인 궤적 변화, 다양한 유형의 행동, 상호작용의 타당성 및 역학 특성을 포괄하는 다섯 가지 테스트 스위트로 구성된 'WorldSimProbe'를 개발했습니다. 각 스위트별 평가 도구는 시뮬레이터 상대적인 정확도, 상세한 행동-움직임 상관관계, 잘못된 상호작용 연결, 그리고 기본적인 수준의 역학적 특성을 평가합니다. 우리는 RoboTwin, ManiSkill 및 LIBERO 데이터셋에서 18,000개 이상의 항목에 대해 오픈 소스 ACWM 6개를 평가했습니다. WorldSimProbe는 제어 변화에 따른 행동 구현의 체계적인 저하, 상호작용 연결 및 역학적 특성의 구조적인 실패를 보여주며, 인간의 판단과 하위 작업 결과와 일관된 기준점 신호를 제공합니다. 이러한 능력 기반 프레임워크는 기존의 거친, 작업 지향적인 평가 방식 외에 ACWM 시뮬레이터의 정확성을 진단하는 투명하고 표준화된 방법을 제시합니다.

Action-conditioned world models (ACWMs) promise to provide embodied AI with scalable predictive simulators for planning, policy evaluation, and data generation. Realizing this promise requires precise action-conditioned transitions rather than merely plausible outputs. Yet their applicability remains difficult to establish because prevailing evaluations emphasize visual quality, task outcomes, or coarse rollout-level responsiveness without directly testing simulator fidelity. To address this gap, we evaluate ACWMs through the observable capabilities expected of physical simulators. Accordingly, we formalize Observable Simulator Contract, a minimal contract that any action-conditioned physical simulator should satisfy: supplied actions must induce corresponding agent motion, and environment responses must be grounded in that realized motion. To operationalize this contract, we introduce WorldSimProbe, comprising five controlled suites spanning local control sensitivity, global trajectory variation, source-diverse actions, interaction grounding, and dynamics. Suite-specific evaluators assess simulator-relative calibration, dense action-to-motion correspondence, false-interaction grounding, and primitive-level dynamics. We evaluate six open-source ACWMs on more than 18,000 instances across RoboTwin, ManiSkill, and LIBERO. World-SimProbe reveals systematic action-realization degradation across control variation, structured failures in interaction grounding and dynamics, and benchmark signals consistent with human judgments and downstream outcomes. Together, this capability-based framework provides a transparent, and standardized paradigm for diagnosing ACWM simulator fidelity beyond coarse, task-directed evaluation.