VisualPatchWorld: 코드 기반 세계 모델을 잠재적 구조 표현으로 활용한 계획

VisualPatchWorld: Code World Models as Latent Structured Representations for Planning

다양한 연구 분야에서 '세계 모델'이라는 용어를 서로 다른 방식으로 사용하지만, 궁극적으로는 행동에 따른 세상의 변화를 파악하여 인식, 시뮬레이션 및 계획을 지원하는 것을 목표로 합니다. 주요 구현 방식으로는 연속적인 벡터 공간에서 역학적 관계를 학습하는 신경망 예측 모델과 명시적인 상태 및 물리 법칙을 드러내는 수작업으로 제작된 물리학 엔진이 있습니다. 신경망 예측 모델은 데이터로부터 확장 가능하지만 역학적 관계의 형태가 암묵적으로 표현됩니다. 반면, 물리학 엔진은 검토 및 수정이 용이하지만 대규모로 구축하기 어렵습니다. 본 연구에서는 세계의 역학을 코드로 표현하는 VisualPatchWorld (VPW)를 소개합니다. VPW는 먼저 짧은 활성 탐색을 통해 질적 역학적 형태를 선택한 다음, 기록된 상태-행동 추적 데이터로부터 해당 형태의 자유 매개변수를 최적화하여 다단계 예측 오류를 최소화합니다. 생성된 프로그램은 시뮬레이터처럼 실행할 수 있으며, 소스 형태로 검토할 수 있고, 모델 기반 제어에 활용될 수 있습니다. 이미지에서 추출한 장면 그래프는 재계획 시점의 현재 상태를 제공할 수 있습니다. 기존 코드 기반 세계 모델과의 비교 결과, VPW는 평균적으로 69.0%의 계획 성공률을 달성했으며, 가장 강력한 코드 기반 모델보다 23.5% 더 높은 성능을 보였습니다. 특히 적절한 질적 역학 형태를 선택하는 것이 중요한 경우에 성능 향상 폭이 큽니다. 동일한 계획기를 사용하여 유도된 모델은 탐색 및 잡기 동작이 포함된 제어 작업에서 실제 물리학 엔진의 성공률에 근접했습니다. 접촉이 많은 밀기 동작에서는 여전히 미세한 차이가 존재하지만, 잠재적인 계획 목록을 물리학 엔진에서 검증하면 대부분의 격차가 해소됩니다. 이러한 결과는 계획에 유용한 자동 생성 코드 기반 세계 모델을 구축하는 실용적인 방법을 제시합니다. 관련 코드는 https://github.com/HKBU-KnowComp/VisualPatchWorld/ 에서 확인할 수 있습니다.

Different research lines use the term world model in different ways, yet they share a common aim: to capture how the world evolves under action in a form that supports perception, simulation, and planning. Two prominent realizations are neural predictors that learn dynamics in continuous vector spaces, and hand-built physics engines that expose explicit state and physical laws. Neural predictors scale from data but leave the form of the dynamics implicit; physics engines are inspectable and editable but difficult to construct at scale. We introduce VisualPatchWorld (VPW), which represents world dynamics as code. VPW first selects a qualitative dynamical form with short active probes, then fits that form's free parameters from recorded state-action traces by minimizing multi-step prediction error. The resulting programs can be rolled forward like a simulator, inspected in source form, and used inside model-predictive control; image-derived scene graphs can supply the live state at replan time. Across comparisons with prior code-based world models, VPW attains 69.0% mean planning success and exceeds the strongest code baseline by 23.5 points. The largest gains arise when choosing the correct qualitative dynamics is essential. Under the same planner, the induced models approach ground-truth engine success on navigation and grasp-rich control; a residual gap remains for contact-rich pushing, and checking a shortlist of promising plans in the engine closes most of that gap. These results establish a practical route toward automatically constructed code world models that are useful for planning. Code is available at https://github.com/HKBU-KnowComp/VisualPatchWorld/.