TerraTransfer: 전문가 데모 없이 엔드 투 엔드 자율 주행 정책 학습

TerraTransfer: Learning End-to-End Driving Policies Without Expert Demonstrations

엔드 투 엔드 자율 주행은 다양한 벤치마크와 실제 환경에서 뛰어난 성능을 보여왔습니다. 하지만 기존의 학습 방식은 모든 단계에서 비용이 많이 듭니다. 수백만 개의 주행 장면 데이터를 수집하고 라벨링하는 데 드는 비용이 높으며, 이미지 기반 강화학습은 사실적인 렌더링에 필요한 계산 비용과 대규모 비전 모델을 거치는 과정 때문에 성능 향상에 어려움을 겪습니다. 벡터화된 시뮬레이터에서의 자체 학습은 이러한 문제를 해결할 수 있습니다. 이 방식은 초당 수백만 개의 실행 단계를 처리할 수 있으며, 충돌, 아찔한 상황 및 회복과 같은 다양한 상황을 자연스럽게 포함합니다. 저희는 이러한 차이점을 활용하여 주행 학습과 시각 학습을 분리하는 방법을 제안합니다. 먼저 자체 학습을 통해 하나의 정책을 사전 훈련하고, 그런 다음 액션의 KL 발산 값과 배치 관계 기반 저랭크 구조 손실 함수를 사용하여 해당 정책의 잠재 공간을 사전 훈련된 비전 모델과 정렬합니다. 액션 목표는 자체 학습 정책에서 가져오므로, 정렬 과정은 기존 로그 데이터에 대한 직접적인 지도 없이 이루어집니다. 즉, (이미지, 장면 상태) 프레임 쌍만 있으면 되며, 기존의 모방 학습 방식이 필요로 하는 전문가 데모 데이터가 필요하지 않습니다. 저희는 사실적인 3D Gaussian splatting 환경에서 자체적으로 설계한 폐루프 시나리오에서 실험을 수행했으며, 결과적으로 얻어진 엔드 투 엔드 정책은 기존의 다른 방법들과 동등하거나 더 나은 성능을 보였습니다.

End-to-end autonomous driving has achieved state-of-the-art performance on benchmarks and real-world deployments. Its standard training recipe, however, is expensive across all stages: collecting and labeling millions of driving frames is costly, and closed-loop RL on images is bottlenecked by the per-step cost of photorealistic rendering plus a forward pass through a large vision backbone. Self-play in vectorized simulators changes the economics: millions of rollout steps per second, and a state distribution naturally rich in collisions, near-misses, and recoveries that no driving log contains. Our approach exploits this asymmetry by decoupling learning to drive from learning to see. We pretrain a single policy by self-play, then align its latent space with a pretrained vision backbone, through the action KL divergence and a batch-relational low-rank structural loss. The action target comes from the self-play policy, so alignment never supervises against a logged trajectory: a paired dataset of (image, scene-state) frames suffices, with no need for the curated expert demonstrations that imitation pretraining is built on. On photorealistic 3D Gaussian splatting closed-loop scenarios, the resulting end-to-end policy matches or exceeds prior end-to-end methods.