DreamSAC: 대칭성 탐색을 통한 해밀토니안 기반 세계 모델 학습

DreamSAC: Learning Hamiltonian World Models via Symmetry Exploration

학습된 세계 모델은 보간 일반화에 뛰어난 성능을 보이지만, 새로운 물리적 특성을 가진 환경에 대한 외삽 일반화에는 실패합니다. 이는 세계 모델이 환경의 근본적인 생성 규칙, 즉 물리적 불변성과 보존 법칙과 같은 통계적 상관관계를 학습하기 때문에 발생하는 한계입니다. 우리는 이러한 불변성을 학습하는 것이 강력한 외삽을 위한 핵심이라고 주장합니다. 이를 달성하기 위해, 먼저 **대칭성 탐색(Symmetry Exploration)**이라는 비지도 학습 탐색 전략을 도입합니다. 이 전략에서 에이전트는 해밀토니안 기반의 호기심 보상을 통해 내재적으로 동기 부여를 받아, 보존 법칙에 대한 이해를 적극적으로 탐구하고 도전하며, 물리적으로 유용한 데이터를 수집합니다. 두 번째로, 수집된 데이터를 기반으로 학습하는 해밀토니안 기반 세계 모델을 설계합니다. 이 모델은 새로운 자기 지도형 대비 학습 목표를 사용하여, 원시 데이터로부터 뷰에 의존적인 픽셀 관찰을 통해 불변적인 물리적 상태를 식별합니다. **DreamSAC**이라는 우리의 프레임워크는 이렇게 적극적으로 큐레이션된 데이터를 사용하여 학습하며, 외삽이 필요한 3D 물리 시뮬레이션 작업에서 최첨단 모델보다 훨씬 뛰어난 성능을 보입니다.

Learned world models excel at interpolative generalization but fail at extrapolative generalization to novel physical properties. This limitation arises because they learn statistical correlations rather than the environment's underlying generative rules, such as physical invariances and conservation laws. We argue that learning these invariances is key to robust extrapolation. To achieve this, we first introduce \textbf{Symmetry Exploration}, an unsupervised exploration strategy where an agent is intrinsically motivated by a Hamiltonian-based curiosity bonus to actively probe and challenge its understanding of conservation laws, thereby collecting physically informative data. Second, we design a Hamiltonian-based world model that learns from the collected data, using a novel self-supervised contrastive objective to identify the invariant physical state from raw, view-dependent pixel observations. Our framework, \textbf{DreamSAC}, trained on this actively curated data, significantly outperforms state-of-the-art baselines in 3D physics simulations on tasks requiring extrapolation.