야생(In-the-wild)에서의 잠재 행동 월드 모델 학습

Learning Latent Action World Models In The Wild

실제 세계에서 추론하고 계획할 수 있는 에이전트는 자신의 행동에 대한 결과를 예측하는 능력을 필요로 합니다. 월드 모델은 이러한 능력을 갖추고 있지만, 대규모로 확보하기 어려운 행동 레이블을 필요로 하는 경우가 많습니다. 이는 비디오만으로 행동 공간을 학습할 수 있는 잠재 행동 모델 학습의 동기가 됩니다. 본 연구는 단순한 로봇 시뮬레이션, 비디오 게임 또는 조작 데이터에 초점을 맞춘 기존 연구들의 범위를 확장하여, 야생(in-the-wild) 비디오에서 잠재 행동 월드 모델을 학습하는 문제를 다룹니다. 이를 통해 더 풍부한 행동을 포착할 수 있지만, 환경적 노이즈나 비디오 전반에 걸친 공통된 신체(embodiment)의 부재와 같이 비디오의 다양성에서 기인하는 여러 어려움도 발생합니다. 이러한 문제를 해결하기 위해, 우리는 행동이 가져야 할 속성들과 관련된 아키텍처 선택 및 평가에 대해 논의합니다. 연구 결과, 일반적인 벡터 양자화로는 불가능했던 야생 비디오의 행동 복잡성을 연속적이지만 제약된 잠재 행동을 통해 포착할 수 있음을 확인했습니다. 예를 들어, 사람이 방에 들어오는 것과 같은 에이전트에 의한 환경 변화가 비디오 간에 전이될 수 있음을 발견했습니다. 이는 야생 비디오에 특화된 행동을 학습할 수 있는 능력을 보여줍니다. 비디오 간 공통된 신체가 없는 상황에서, 우리는 주로 카메라를 기준으로 공간에 국소화된 잠재 행동을 학습할 수 있었습니다. 그럼에도 불구하고, 우리는 알려진 행동을 잠재 행동으로 매핑하는 컨트롤러를 훈련할 수 있었으며, 이를 통해 잠재 행동을 범용 인터페이스로 활용하여 행동 조건부 베이스라인과 유사한 성능으로 월드 모델을 이용한 계획 작업을 수행할 수 있었습니다. 우리의 분석과 실험은 잠재 행동 모델을 실제 세계로 확장하기 위한 발판을 제공합니다.

Agents capable of reasoning and planning in the real world require the ability of predicting the consequences of their actions. While world models possess this capability, they most often require action labels, that can be complex to obtain at scale. This motivates the learning of latent action models, that can learn an action space from videos alone. Our work addresses the problem of learning latent actions world models on in-the-wild videos, expanding the scope of existing works that focus on simple robotics simulations, video games, or manipulation data. While this allows us to capture richer actions, it also introduces challenges stemming from the video diversity, such as environmental noise, or the lack of a common embodiment across videos. To address some of the challenges, we discuss properties that actions should follow as well as relevant architectural choices and evaluations. We find that continuous, but constrained, latent actions are able to capture the complexity of actions from in-the-wild videos, something that the common vector quantization does not. We for example find that changes in the environment coming from agents, such as humans entering the room, can be transferred across videos. This highlights the capability of learning actions that are specific to in-the-wild videos. In the absence of a common embodiment across videos, we are mainly able to learn latent actions that become localized in space, relative to the camera. Nonetheless, we are able to train a controller that maps known actions to latent ones, allowing us to use latent actions as a universal interface and solve planning tasks with our world model with similar performance as action-conditioned baselines. Our analyses and experiments provide a step towards scaling latent action models to the real world.