DWM: 잠재 세계 모델에서 행위 효과와 환경 효과 분리

DWM: Separating World Effects from Actions in Latent World Models

잠재 세계 모델은 현대적인 모델 기반 제어의 핵심을 이루지만, 현재의 행동에 의존하는 방식은 다음 상태로의 전환을 단일하고 획일화된 목표 값으로 예측하도록 강제하며, 이러한 과정에서 상태 변화를 유발하는 모든 요소를 하나의 학습 신호로 처리하게 됩니다. 그러나 실제 세계에서는 두 가지 이질적인 요인이 상태 변화를 야기합니다. 첫째는 에이전트의 행동에 의해 발생하는 요소이고, 둘째는 행동과 무관한 환경 효과인데, 이는 환경 자체의 내재적 역학(예: 중력에 의한 미끄러짐, 관성, 충돌 반발, 지속적인 드리프트)에 의해 결정됩니다. 이러한 두 요인을 하나의 목표 값으로 통합하면 두 요소가 잠재 상태 전환 내부에 얽히게 되어 모델이 관찰된 변화를 근본 원인으로 정확하게 파악하는 것을 방해하고, 학습된 역학의 일반화 가능성을 저해합니다. 본 논문에서는 DWM(Decomposed World Model)이라는 감독 수준 프레임워크를 제안합니다. DWM은 잠재 세계 모델의 예측기에 추가적인 환경 모듈을 도입하며, 이 모듈은 정규화된 환경 대비 목적 함수에 의해 행동과 무관하게 작동하도록 규제됩니다. 원래 예측 모듈은 직교성 제약을 통해 이 환경 모듈과 연결되어 있으며, 두 신호는 함께 예측된 상태 전환을 명시적으로 행동과 무관한 요소와 보완적인 행동 기반 요소로 분해합니다. 이러한 과정은 기존 아키텍처나 추론 파이프라인을 변경하지 않고 수행됩니다. DWM의 성능을 평가하기 위해, 세 가지 표준 제어 벤치마크(PushT, Reacher, TwoRoom)의 W-버전(각각 고유한 행동과 무관한 역학을 포함하는 버전)을 개발했습니다. 실험 결과, DWM은 기존 모델들과 유사한 성능을 보였으며, CEM 계획 성공률에서 평균 13.1%의 성능 향상을 달성했습니다.

Latent world models underpin much of modern model-based control, yet current action-conditioned formulations supervise the next-latent transition with a single, undifferentiated target, forcing a monolithic learning signal to absorb every source of state change. In real world, however, transitions arise from two heterogeneous sources: an action-driven component induced by the agent, and an action-invariant world effect -- the change that would still occur under a null action, dictated by the environment's intrinsic dynamics (e.g., gravity-driven sliding, inertia, contact rebound, and persistent drift). Fusing them into a single target entangles the two inside the latent transition, prevents the model from attributing observed changes to their underlying causes, and undermines the transferability of the learned dynamics. We introduce DWM (Decomposed World Model), a supervision-level framework that operationalizes this decomposition. DWM augments the predictor of a latent world model with an auxiliary world head, regularized by a normalized world-contrastive objective to be action-invariant, while the original pred head is coupled to it via an orthogonality constraint; together, the two signals induce an explicit additive decomposition of the predicted transition into an action-invariant and a complementary action-driven component, without altering the underlying architecture or inference pipeline. To evaluate DWM under persistent world effects, we construct W-variants of three standard control benchmarks -- PushT-W, Reacher-W, and TwoRoom-W -- each instantiating a distinct action-invariant dynamic. DWM matches strong baselines on the flat counterparts and delivers a mean absolute improvement of 13.1% in CEM planning success across the W-variants.