Dreamer-SAC: 잠재 세계 모델을 이용한 샘플 효율적인 자율 주행 학습 방법

Dreamer-SAC: Off-Policy Learning in Latent World Models for Sample-Efficient Autonomous Driving

자율 주행 분야에서 샘플 효율적인 강화학습은 데이터 효율성과 모델 편향 사이의 균형으로 인해 어려움을 겪는 경우가 많습니다. 세계 모델은 환경과의 상호작용에 대한 의존성을 줄이지만, 학습된 동역학을 기반으로 한 정책 최적화는 예측 오류에 민감합니다. 본 논문에서는 재귀적인 상태 공간 세계 모델과 잠재 공간에서 직접 훈련되는 오프라인 소프트 액터-크리틱 알고리즘을 통합한 Dreamer-SAC 프레임워크를 제안합니다. 이 프레임워크는 실제 상호작용과 짧은 시간 지평의 생성된 경로를 결합하여 n단계 목표 추정과 다중 목적 감독 방법을 사용합니다. 자율 주행 시나리오에서, 특히 운전 효율성과 안전성을 목표로 하는 환경에서 평가 결과, 제안하는 프레임워크는 DreamerV3, SAC, PPO와 같은 기존 강화학습 방법보다 우수한 성능을 보였으며, 훨씬 적은 수의 실제 환경 상호작용으로 향상된 성능을 달성했습니다. 실험 결과, 롤아웃 지평선과 정책 성능 사이에는 역 U자 형태의 관계가 나타나며, 짧은 지평선의 잠재 롤아웃이 추가적인 학습 신호와 누적 모델 편향 간의 최적의 균형을 제공하는 것으로 나타났습니다. 또한, n단계 목표 추정 방법이 단일 단계 시간 차분 목표보다 가치 학습에 활용되는 예측된 경험을 더욱 효과적으로 사용하는 것을 보여주었습니다.

Sample-efficient reinforcement learning for autonomous driving is often limited by the trade-off between data efficiency and model bias. While world models reduce the reliance on costly environment interactions, policy optimization over learned dynamics remains sensitive to prediction errors. This paper proposes the Dreamer-SAC framework, which integrates a recurrent state-space world model with an off-policy soft actor-critic algorithm trained directly in latent space. The framework uses a combination of real interactions and short-horizon generated trajectories with n-step target estimation and multi-objective supervision. Evaluated in autonomous driving scenarios with objectives encompassing driving efficiency and safety, the proposed framework consistently outperforms representative reinforcement learning baselines, including DreamerV3, SAC, and PPO, while achieving improved performance with substantially fewer real environment interactions. Experiments reveal an inverted-U relationship between rollout horizon and policy performance, where short-horizon latent rollouts achieve the best trade-off between additional training signals and accumulated model bias. Furthermore, n-step target estimation demonstrates more effectiveness over one-step temporal-difference targets in exploiting predicted experience for value learning.