객체 중심 세계 모델과 몬테카를로 트리 탐색의 결합

Object-Centric World Models Meet Monte Carlo Tree Search

본 논문에서는 동적 환경을 보다 효과적으로 모델링하기 위해 객체 수준 표현을 활용하는 새로운 강화 학습(RL) 알고리즘인 ObjectZero를 소개한다. 세상을 구분되지 않은 단일 입력으로 처리하는 기존 접근 방식과 달리, 본 연구의 방법은 그래프 신경망(GNN)을 사용하여 여러 객체 간의 복잡한 상호작용을 포착한다. 조작 및 상호작용이 가능한 이러한 객체들은 모델이 환경을 이해하는 기초가 된다. 우리는 다양하고 상호작용하는 객체들이 존재하는 복잡한 환경에서 이 알고리즘을 훈련시켜 객체 역학을 효과적으로 학습하고 예측하는 능력을 입증했다. 연구 결과는 객체 중심 표현을 기반으로 작동하는 구조화된 세계 모델이 몬테카를로 트리 탐색을 계획 모듈로 활용하는 모델 기반 강화 학습 알고리즘에 성공적으로 통합될 수 있음을 보여준다.

In this paper, we introduce ObjectZero, a novel reinforcement learning (RL) algorithm that leverages the power of object-level representations to model dynamic environments more effectively. Unlike traditional approaches that process the world as a single undifferentiated input, our method employs Graph Neural Networks (GNNs) to capture intricate interactions among multiple objects. These objects, which can be manipulated and interact with each other, serve as the foundation for our model's understanding of the environment. We trained the algorithm in a complex setting teeming with diverse, interactive objects, demonstrating its ability to effectively learn and predict object dynamics. Our results highlight that a structured world model operating on object-centric representations can be successfully integrated into a model-based RL algorithm utilizing Monte Carlo Tree Search as a planning module.