TerraZero: 대규모 자율 주행 시뮬레이션 프레임워크 - 제로 데모 기반의 자체 학습

TerraZero: Procedural Driving Simulation for Zero-Demonstration Self-Play at Scale

견고한 자율 주행 에이전트 훈련에는 확장 가능한 강화 학습에 적합할 만큼 빠른 속도, 실제 도로 구조를 반영하는 현실성, 그리고 안전과 관련된 다양한 상황을 포괄할 수 있는 다양성을 갖춘 시뮬레이터가 필요합니다. 본 논문에서는 TerraZero라는 절차적 주행 시뮬레이션 및 자체 학습 훈련 시스템을 소개합니다. 구성 가능한 C 엔진은 CPU에서 시뮬레이션을 수행하고 GPU에서 정책 추론을 실행하며, 데이터 복사 없이 처리하여 단일 서버급 GPU에서 초당 130만 개의 에이전트 단계를 처리할 수 있습니다. 이는 기존의 객체 기반 시뮬레이터보다 훨씬 빠르며, 동시에 다양한 기능(예: 이질적인 에이전트, 다중 동역학 모델, 완전한 교통 규칙 적용)을 제공합니다. TerraZero는 실제 데이터를 주 도로 구조 정보로만 활용하며, 각 맵에 랜덤하게 생성된 규칙 기반의 보행자 및 신호 제어 시스템과 함께 에피소드마다 에이전트의 동역학, 보상, 크기를 무작위로 변경하여 무한한 시나리오를 제공합니다. 모든 정책은 인간의 개입 없이 강화 학습만을 사용하여 여러 GPU에서 효율적인 자체 학습 방식으로 훈련됩니다. 훈련된 정책은 도시 및 데이터 세트를 넘어 즉시 적용 가능하며, 명시적인 감독 없이도 좌측 통행 규칙을 따르는 주행 능력을 보입니다. TerraZero는 자율 주행 에이전트로써 InterPlan의 장기 시뮬레이션 벤치마크에서 최고 성능을 달성했으며, 기존의 대규모 학습 기반 계획 시스템보다 뛰어난 성능을 보입니다. 표준 주행 환경에서는 최상위 성능 중 하나를 기록하며, 특히 충돌 및 충돌 시간 측면에서 가장 안전한 결과를 보여줍니다. Waymo Open Sim Agents 현실성 평가에서도 TerraZero는 다른 제로 데모 방식과 비교하여 우수한 성능을 나타내며, 강력한 참조 기반 자체 학습 방법과 경쟁력 있는 수준입니다. 하나의 시스템으로 차량 및 트럭의 주행 정책과 함께 차량, 보행자 및 자전거를 통합적으로 제어하는 시뮬레이션 에이전트 역할을 모두 수행합니다.

Training robust autonomous driving agents requires a simulator that is fast enough for reinforcement learning at scale, realistic enough to ground behavior in real-world map structure, and diverse enough to cover the safety-critical long tail that logged data rarely contains. We present TerraZero, a procedural driving simulator and self-play training stack. A configurable C engine runs simulation on the CPU and policy inference on the GPU over a zero-copy path, sustaining 1.3M agent-steps per second on a single server-grade GPU, far faster than existing object-level simulators, while keeping fidelity lighter single-agent systems omit: heterogeneous agents, multiple dynamics models, and full traffic-rule enforcement. TerraZero treats logged data only as a source of real-world map geometry, populating each map with randomized rule-based road users and signal controllers and randomizing agent dynamics, rewards, and sizes per episode, so a map yields an unbounded set of scenarios. Every reported policy trains from scratch by reinforcement learning alone on a compute-efficient self-play recipe across GPUs, with zero human demonstrations and no fallback planner at inference. Policies generalize zero-shot across cities and datasets, including emergent left-hand-traffic driving without explicit supervision. As an ego policy, TerraZero is the first fully learned policy to top the InterPlan long-tail benchmark, ahead of larger learned planners; on routine-driving val14 it ranks among the best approaches and is the safest, posting the best collision and time-to-collision scores. On Waymo Open Sim Agents realism the same recipe outperforms other demonstration-free methods and is competitive with the strongest reference-anchored self-play method. One stack serves both roles: driving policies across dynamics for cars and trucks, and sim agents that jointly control vehicles, pedestrians, and cyclists.