부분 관측 환경에서의 탐색을 위한 생성 모델 기반 예측 계획

Generative-Model Predictive Planning for Navigation in Partially Observable Environments

부분적으로만 정보를 얻을 수 있는 환경에서 자율 에이전트의 탐색은 제한된 감각 정보만을 가지고 미지의 환경에서 효과적인 의사 결정을 내려야 하므로 상당한 어려움을 야기합니다. 특히 신경망을 사용하여 불확실성 공간을 근사하는 기반 방법들은, 고차원 데이터 및 인지적 왜곡 현상으로 인해 불확실성 공간의 다중 모드 특성을 제대로 반영하지 못하는 경우가 많습니다. 생성 모델은 매력적인 대안을 제시하지만, 일반적으로 상당한 양의 데이터나 전문가 시연이 필요하며, 장기 계획 수립을 위한 명시적인 메커니즘이 부족합니다. 본 논문에서는 생성과 계획의 장점을 결합한 새로운 프레임워크인 BeliefDiffusion을 소개합니다. BeliefDiffusion은 확산 모델을 활용하여 다중 모드 불확실성 분포를 명시적으로 특성화하고, Model Predictive Control (MPC)을 사용하여 동시에 미래를 예측하는 계획을 수립합니다. 이 방법은 크게 두 단계로 구성됩니다: (1) 관찰 기록을 기반으로 가능한 환경 구성을 추론하고, (2) 집계된 구성들을 통해 효율적인 탐색 전략을 계획합니다. 합성 맵 환경에서의 광범위한 실험을 통해 BeliefDiffusion이 기존의 강화 학습 모델 및 다른 생성적 접근 방식에 비해 탐색 성공률과 경로 효율성 측면에서 현저히 우수한 성능을 보임을 입증했습니다. 우리의 결과는 불확실성 표현을 명시적으로 계획 과정에 통합하는 것이 부분 관측 환경에서의 보다 강력한 탐색을 가능하게 한다는 것을 확인시켜 줍니다.

Navigation in partially observable environments presents a significant challenge for autonomous agents, requiring effective decision-making with limited sensory information in unknown environments. Belief-based methods, particularly those using neural networks to approximate the belief space, often fail to capture the inherent multimodality of belief spaces, especially in high-dimensional cases with perceptual aliasing. While generative models present a compelling alternative, they typically require substantial data or expert demonstrations and lack explicit mechanisms for long-term planning. In this paper, we introduce BeliefDiffusion, a novel framework that combines the benefits of both generation and planning. BeliefDiffusion leverages diffusion models to explicitly characterize multimodal belief distributions and utilizes Model Predictive Control (MPC) to simultaneously plan ahead. It consists of two steps: (1) Imagining plausible environment configurations based on observation history and (2) Planning efficient navigation strategies across an aggregated configurations. Through extensive experiments in synthetic map environments, we demonstrate that BeliefDiffusion significantly outperforms both model-free reinforcement learning baselines and other generative approaches in navigation success rate and path efficiency. Our results validate that explicitly incorporating multimodal belief representations into planning enables more robust navigation in partially observable settings.