제약 조건이 있는 주차 시나리오에서의 경로 계획을 위한 강화 학습 적용

Adapting Reinforcement Learning for Path Planning in Constrained Parking Scenarios

제한된 환경에서의 실시간 경로 계획은 자율 시스템에게 있어 여전히 중요한 과제입니다. 전통적인 경로 계획 알고리즘은 완벽한 인식 가정 하에서는 효과적이지만, 실제 환경에서의 인식 제약 조건에 민감하며, 높은 계산 비용을 초래하는 온라인 검색 절차에 의존합니다. 복잡한 환경에서는 이러한 특성으로 인해 실시간 배포가 어렵습니다. 이러한 한계를 극복하기 위해, 본 연구에서는 주차 시나리오에서의 실시간 경로 계획을 위한 딥 강화 학습(DRL) 프레임워크를 제안합니다. 특히, 많은 역주행 기동과 조정을 요구하는 좁은 공간의 어려운 시나리오에 초점을 맞춥니다. 기존의 경로 계획 알고리즘과 달리, 제안하는 방법은 이상적인 구조화된 인식 기능을 필요로 하지 않으며, 원칙적으로 위치 추정 및 추적과 같은 추가 모듈의 필요성을 없앨 수 있어 더 간단하고 실용적인 구현이 가능합니다. 또한, 테스트 시에 정책은 각 단계에서 단일 순방향 연산을 통해 행동을 생성하므로, 실시간 배포에 적합한 가벼운 구조를 갖습니다. 본 연구에서는 자전거 모델 역학을 기반으로 한 순차적 의사 결정 문제로 정의하여, 에이전트가 차량의 운동학적 특성과 환경 제약을 고려하는 내 closed-loop 환경에서 직접적인 탐색 정책을 학습할 수 있도록 합니다. 훈련 및 평가를 지원하기 위해 새로운 벤치마크를 개발했으며, 다양한 도전적인 시나리오를 포함합니다. 제안하는 방법은 기존의 경로 계획 알고리즘을 능가하는 뛰어난 성공률과 효율성을 달성했습니다. 구체적으로, 성공률에서 +96%, 효율성에서 +52%의 성능 향상을 보였습니다. 또한, 개발된 벤치마크를 오픈 소스 리소스로 제공하여 자율 시스템 분야의 미래 연구를 촉진하고자 합니다. 벤치마크 및 관련 도구는 https://github.com/dqm5rtfg9b-collab/Constrained_Parking_Scenarios 에서 확인할 수 있습니다.

Real-time path planning in constrained environments remains a fundamental challenge for autonomous systems. Traditional classical planners, while effective under perfect perception assumptions, are often sensitive to real-world perception constraints and rely on online search procedures that incur high computational costs. In complex surroundings, this renders real-time deployment prohibitive. To overcome these limitations, we introduce a Deep Reinforcement Learning (DRL) framework for real-time path planning in parking scenarios. In particular, we focus on challenging scenes with tight spaces that require a high number of reversal maneuvers and adjustments. Unlike classical planners, our solution does not require ideal and structured perception, and in principle, could avoid the need for additional modules such as localization and tracking, resulting in a simpler and more practical implementation. Also, at test time, the policy generates actions through a single forward pass at each step, which is lightweight enough for real-time deployment. The task is formulated as a sequential decision-making problem grounded in a bicycle model dynamics, enabling the agent to directly learn navigation policies that respect vehicle kinematics and environmental constraints in the closed-loop setting. A new benchmark is developed to support both training and evaluation, capturing diverse and challenging scenarios. Our approach achieves state-of-the-art success rates and efficiency, surpassing classical planner baselines by +96% in success rate and +52% in efficiency. Furthermore, we release our benchmark as an open-source resource for the community to foster future research in autonomous systems. The benchmark and accompanying tools are available at https://github.com/dqm5rtfg9b-collab/Constrained_Parking_Scenarios.