AutoAWG: 자동차 비디오를 위한 적응형 다중 제어 기반 악천후 영상 생성

AutoAWG: Adverse Weather Generation with Adaptive Multi-Controls for Automotive Videos

자율 주행 시스템의 성능 향상을 위해 악천후 조건에서의 시각 정보 처리 능력은 매우 중요하지만, 실제 악천후 환경에서 수집된 비디오 데이터의 부족은 큰 걸림돌입니다. 기존의 악천후 영상 생성 방법들은 시각적 품질과 어노테이션 재사용성 사이의 균형을 맞추는 데 어려움을 겪습니다. 본 논문에서는 자율 주행을 위한 제어 가능한 악천후 영상 생성 프레임워크인 AutoAWG를 제안합니다. AutoAWG는 여러 제어 인자를 활용하여 시각적 스타일 변화와 안전 관련 객체의 정확성을 동시에 유지하고, 앤커링된 시점 기반의 시간적 합성 전략을 사용하여 정지 이미지로부터 학습 시퀀스를 생성함으로써, 합성 데이터에 대한 의존성을 줄입니다. 또한, 마스크 학습을 통해 장기적인 영상 생성의 안정성을 향상시켰습니다. nuScenes 검증 데이터셋에서 AutoAWG는 기존 최고 성능 모델보다 월등히 뛰어난 성능을 보였습니다. 첫 번째 프레임 정보를 사용하지 않은 경우, FID 및 FVD 값이 각각 50.0% 및 16.1% 감소했습니다. 첫 번째 프레임 정보를 사용한 경우, FID 및 FVD 값은 각각 8.7% 및 7.2% 더 감소했습니다. 광범위한 정량적 및 정성적 결과는 AutoAWG가 스타일 충실도, 시간적 일관성 및 의미-구조적 무결성 측면에서 우수한 성능을 보임을 입증하며, 자율 주행 시스템의 성능 향상에 실질적인 가치를 제공합니다. AutoAWG의 코드는 다음 링크에서 확인할 수 있습니다: https://github.com/higherhu/AutoAWG

Perception robustness under adverse weather remains a critical challenge for autonomous driving, with the core bottleneck being the scarcity of real-world video data in adverse weather. Existing weather generation approaches struggle to balance visual quality and annotation reusability. We present AutoAWG, a controllable Adverse Weather video Generation framework for Autonomous driving. Our method employs a semantics-guided adaptive fusion of multiple controls to balance strong weather stylization with high-fidelity preservation of safety-critical targets; leverages a vanishing point-anchored temporal synthesis strategy to construct training sequences from static images, thereby reducing reliance on synthetic data; and adopts masked training to enhance long-horizon generation stability. On the nuScenes validation set, AutoAWG significantly outperforms prior state-of-the-art methods: without first-frame conditioning, FID and FVD are relatively reduced by 50.0% and 16.1%; with first-frame conditioning, they are further reduced by 8.7% and 7.2%, respectively. Extensive qualitative and quantitative results demonstrate advantages in style fidelity, temporal consistency, and semantic--structural integrity, underscoring the practical value of AutoAWG for improving downstream perception in autonomous driving. Our code is available at: https://github.com/higherhu/AutoAWG