SARAD: LLM 기반의 안전 의식 하이브리드 강화 학습 - 자율 주행을 위한 충돌 예측 기능

SARAD: LLM-Based Safety-Aware Hybrid Reinforcement Learning with Collision Prediction for Autonomous Driving

자율 주행 시스템의 의사 결정 과정에서 안전과 효율성을 동시에 확보하는 것은 여전히 중요한 과제입니다. 기존의 딥 강화 학습(DRL)은 불안정한 무작위 탐색 및 느린 수렴 속도 문제를 가지고 있으며, 대규모 언어 모델(LLM)은 실시간 추론 연산에서 지연 문제가 발생합니다. 이러한 한계점을 극복하기 위해, 본 논문에서는 자율 주행을 위한 안전 의식 하이브리드 프레임워크인 SARAD를 제안합니다. SARAD는 LLM과 DRL을 결합하여 작동하며, DRL의 무작위 탐색 과정을 동적 전문가 지식 저장소에서 가져온 LLM 기반의 결정으로 대체하고, Retrieval-Augmented Generation(RAG) 기술을 활용합니다. 또한, LLM의 사전 지식을 DRL 정책 최적화에 통합하기 위한 어텐션 디스크리미네이터를 제안합니다. 더 나아가, 과거 충돌 데이터를 기반으로 튜닝된 충돌 예측 모듈을 설계하여 차량 안전성을 향상시킵니다. 광범위한 실험 결과는 SARAD가 Highway-Env 시뮬레이터에서 상당한 성능 향상을 달성했으며, 이는 제안된 모델이 자율 주행 분야에 효과적임을 입증합니다.

Ensuring both safety and efficiency in decision-making for autonomous driving systems remains a fundamental challenge. Traditional Deep Reinforcement Learning (DRL) suffers from unsafe random exploration and slow convergence, while Large Language Models (LLMs) demonstrate inherent latency in real-time inference operations. To address these limitations, this paper proposes SARAD, a novel safety-aware hybrid framework that synergizes LLMs and DRL for autonomous driving. SARAD substitutes the random exploration of DRL with Retrieval-Augmented Generation (RAG)-enhanced, LLM-guided decisions sourced from a dynamic expert knowledge repository. An attention discriminator is proposed to integrate the prior knowledge of LLMs into DRL policy optimization. A collision predictor module, fine-tuned with historical collision data, is further designed to improve vehicle safety. Extensive experiments show that SARAD achieves significant performance improvements in the Highway-Env simulator, validating the effectiveness of the proposed model in autonomous driving.