나만의 방식으로: 개인 맞춤형 자율 주행을 위한 시각-언어-행동 모델의 선호도 정렬

Drive My Way: Preference Alignment of Vision-Language-Action Model for Personalized Driving

인간의 운전 행동은 본질적으로 개인적인 특성을 가지며, 이는 장기적인 습관에 의해 형성되고 단기적인 의도에 의해 영향을 받습니다. 개인들은 다양한 상황에서 가속, 감속, 차선 변경, 양보, 추월 등의 행동을 다르게 나타냅니다. 그러나 기존의 엔드-투-엔드 자율 주행 시스템은 일반적으로 일반적인 목표를 최적화하거나 고정된 주행 모드를 사용하며, 개인의 선호도에 적응하거나 자연어 명령을 해석하는 능력이 부족합니다. 이러한 격차를 해소하기 위해, 우리는 사용자의 장기적인 운전 습관에 부합하고 실시간 사용자 지시에 적응하는 개인 맞춤형 시각-언어-행동(VLA) 주행 프레임워크인 Drive My Way (DMW)를 제안합니다. DMW는 여러 운전자와 다양한 조건에서 수집된 개인 맞춤형 주행 데이터셋을 통해 사용자 임베딩을 학습하고, 계획 단계에서 이 임베딩을 사용하여 정책을 제어합니다. 또한, 자연어 지침은 추가적인 단기적인 안내를 제공합니다. Bench2Drive 벤치마크에서의 폐쇄 루프 평가 결과, DMW는 스타일 지침 적응 능력을 향상시키며, 사용자 연구에서는 DMW가 생성하는 행동들이 각 운전자의 고유한 스타일로 인식된다는 것을 보여주었습니다. 이는 개인화가 인간 중심의 자율 주행을 위한 핵심 기능임을 강조합니다. 저희의 데이터와 코드는 https://dmw-cvpr.github.io/ 에서 확인할 수 있습니다.

Human driving behavior is inherently personal, which is shaped by long-term habits and influenced by short-term intentions. Individuals differ in how they accelerate, brake, merge, yield, and overtake across diverse situations. However, existing end-to-end autonomous driving systems either optimize for generic objectives or rely on fixed driving modes, lacking the ability to adapt to individual preferences or interpret natural language intent. To address this gap, we propose Drive My Way (DMW), a personalized Vision-Language-Action (VLA) driving framework that aligns with users' long-term driving habits and adapts to real-time user instructions. DMW learns a user embedding from our personalized driving dataset collected across multiple real drivers and conditions the policy on this embedding during planning, while natural language instructions provide additional short-term guidance. Closed-loop evaluation on the Bench2Drive benchmark demonstrates that DMW improves style instruction adaptation, and user studies show that its generated behaviors are recognizable as each driver's own style, highlighting personalization as a key capability for human-centered autonomous driving. Our data and code are available at https://dmw-cvpr.github.io/.