확산 모델의 잠재력을 활용한 완전 자율 주행 시스템

Unleashing the Potential of Diffusion Models for End-to-End Autonomous Driving

확산 모델은 로봇 공학 분야에서 의사 결정 작업에 널리 사용되고 있으며, 최근에는 자율 주행 문제 해결에도 활용되고 있습니다. 하지만, 현재까지의 확산 모델 적용 및 평가는 주로 시뮬레이션 환경 또는 실험실 환경에 국한되어 있습니다. 대규모의 복잡한 실제 환경, 특히 완전 자율 주행(E2E AD) 시스템에서 확산 모델의 잠재력은 아직 충분히 탐구되지 않았습니다. 본 연구에서는 실제 차량 데이터와 도로 주행 데이터를 활용하여, 확산 모델을 E2E AD 시스템의 계획기로 활용할 수 있는 가능성을 체계적이고 대규모로 조사했습니다. 종합적이고 엄격하게 통제된 실험을 통해, E2E 계획 성능에 큰 영향을 미치는 확산 손실 공간, 경로 표현, 데이터 스케일링에 대한 주요 인사이트를 도출했습니다. 또한, 학습된 계획기의 안전성을 더욱 향상시키는 효과적인 강화 학습 후속 학습 전략을 제시합니다. 결과적으로 개발된 확산 기반 학습 프레임워크인 Hyper Diffusion Planner (HDP)는 실제 차량 플랫폼에 적용되어, 6가지 도시 주행 시나리오와 200km의 실제 도로 환경에서 테스트되었습니다. 그 결과, 기준 모델 대비 10배에 달하는 성능 향상을 달성했습니다. 본 연구는 적절하게 설계되고 훈련된 확산 모델이 복잡하고 실제적인 자율 주행 작업에 효과적이고 확장 가능한 E2E AD 계획기로 활용될 수 있음을 보여줍니다.

Diffusion models have become a popular choice for decision-making tasks in robotics, and more recently, are also being considered for solving autonomous driving tasks. However, their applications and evaluations in autonomous driving remain limited to simulation-based or laboratory settings. The full strength of diffusion models for large-scale, complex real-world settings, such as End-to-End Autonomous Driving (E2E AD), remains underexplored. In this study, we conducted a systematic and large-scale investigation to unleash the potential of the diffusion models as planners for E2E AD, based on a tremendous amount of real-vehicle data and road testing. Through comprehensive and carefully controlled studies, we identify key insights into the diffusion loss space, trajectory representation, and data scaling that significantly impact E2E planning performance. Moreover, we also provide an effective reinforcement learning post-training strategy to further enhance the safety of the learned planner. The resulting diffusion-based learning framework, Hyper Diffusion Planner} (HDP), is deployed on a real-vehicle platform and evaluated across 6 urban driving scenarios and 200 km of real-world testing, achieving a notable 10x performance improvement over the base model. Our work demonstrates that diffusion models, when properly designed and trained, can serve as effective and scalable E2E AD planners for complex, real-world autonomous driving tasks.