공간 복잡성 해체: LLM의 공간 추론을 위한 계층적 분해

Deconstructing Spatial Complexity: Hierarchical Decomposition for LLM Spatial Reasoning

LLM은 일반적인 언어 이해 및 추론 능력에서 뛰어난 성능을 보여주지만, 공간 추론 영역에서는 일관되게 낮은 성능을 보이며 이는 특히 인공지능 로봇 분야에서의 활용에 큰 제약이 됩니다. 본 연구는 계층적 강화 학습의 성공 사례에서 영감을 받아 LLM의 공간 추론을 위한 새로운 계층적 작업 분해 방법을 제시합니다. 저희의 접근 방식은 LLM이 중요한 중간 상태를 파악하고 단순화된 하위 환경을 생성함으로써 복잡한 작업을 관리 가능한 하위 작업으로 분해하도록 돕습니다. 그러나 LLM은 종종 부족한 공간 지식으로 인해 최적의 중간 상태를 도출하지 못하여 비최적의 작업 분해로 이어지는 것을 확인했습니다. 이러한 한계를 극복하고 계획 능력을 향상시키기 위해, 저희는 LLM의 사전 예측 확률과 인식론적 불확실성을 UCT 공식에 통합한 MCTS-Guided Group Relative Policy Optimization (M-GRPO) 방법을 제안합니다. 또한, 더욱 세분화된 보상 함수를 구현하여 모델이 최적의 경로 계획을 학습할 수 있도록 했습니다. 실험 결과는 저희 방법이 내비게이션, 계획 및 전략 게임을 포함한 다양한 공간 작업에서 LLM의 성능을 크게 향상시켰으며, 최고 수준의 결과를 달성했음을 보여줍니다. 본 연구는 실제 응용 분야에서의 LLM 활용 가능성을 높이는 데 기여할 것입니다.

LLMs have shown remarkable proficiency in general language understanding and reasoning. However, they consistently underperform in spatial reasoning that severely limits their application, particularly in embodied intelligence. Inspired by the success of hierarchical reinforcement learning, this paper introduces a novel method for hierarchical task decomposition in LLM spatial reasoning. Our approach guides LLMs to decompose complex tasks into manageable sub-tasks by identifying key intermediate states and generating simplified sub-environments. However, we identify that LLMs often fail to derive optimal intermediate states due to their insufficient spatial prior, leading to sub-optimal task decomposition. To address this limitation and enhance its planning capability, we propose the MCTS-Guided Group Relative Policy Optimization (M-GRPO), where we reformulate the UCT formula by incorporating the LLM's prior predictive probabilities alongside its epistemic uncertainty. Furthermore, we implement a more fine-grained advantage function, enabling the model to learn optimal path planning. Experimental results demonstrate that our method substantially improves LLM performance on spatial tasks, including navigation, planning, and strategic games, achieving state-of-the-art results. This work paves the way for LLMs in real-world applications.