RealWeather: 현실적이고 장면의 특성을 반영하는 기상 변환 기술 - 주행 환경 모델 활용

RealWeather: Realistic and Scene-Faithful Weather Translation with Driving World Models

현실적인 기상 변환은 자율 주행 시스템 개발 및 평가에 중요한 역할을 하지만, 다양한 기상 조건에서 동일한 장면의 동영상 데이터를 대규모로 수집하는 것은 비현실적입니다. 따라서 기존 방법들은 주로 합성 데이터, 3D 기상 편집 또는 기하학 정보를 활용한 생성 방법을 사용하지만, 이러한 방법들은 종종 기상의 현실감이나 장면의 충실도를 저해합니다. 본 연구에서는 현실적이고 장면의 특성을 정확하게 반영하는 기상 변환 기술인 RealWeather를 제안합니다. 핵심 아이디어는 실제 동영상 데이터로부터 진정한 기상 현상을 직접 학습하는 것입니다. 구체적으로, RealWeather는 Progressive Realism Bootstrapping이라는 반복적인 데이터 정제 전략을 사용합니다. 보조적인 Pseudo-Clear Generation 파이프라인의 도움으로, 초기 훈련은 가상의 스타일 조건화된 동영상을 사용하여 시작됩니다. 훈련 과정에서 이러한 입력은 점차 모델 자체에 의해 생성된 더욱 현실적인 동영상으로 대체됩니다. 이 전략은 가상 데이터와 실제 데이터 간의 격차를 줄여 모델이 실제 환경의 분포에 자연스럽게 적응하고 양방향 기상 변환(맑음-악천후 변환)을 지원하도록 합니다. 또한, 구조적 완전성을 엄격하게 유지하고 환각 현상을 억제하기 위해 Scene-Fidelity RL Optimization이라는 보상 기반 정책 최적화 전략을 도입했습니다. 이 전략은 안전에 중요한 주행 요소의 변경에 대해 명시적으로 페널티를 부여합니다. 광범위한 실험 결과, RealWeather는 기존 방법보다 시각적인 현실감과 구조 보존 측면에서 뛰어난 성능을 보이며, 다양한 악천후 시나리오 생성 및 강력한 일반화 능력을 제공하는 것으로 나타났습니다.

Realistic weather translation is valuable for developing and evaluating autonomous driving systems, yet collecting paired videos of the same scenes under different weather conditions at scale is impractical. Existing methods therefore rely on synthetic data, 3D weather editing, or geometry-conditioned generation, often compromising weather realism or scene fidelity. We propose RealWeather, a driving world model for both realistic and scene-faithful weather translation. Our key idea is to learn authentic weather dynamics directly from real-world videos. Specifically, RealWeather employs Progressive Realism Bootstrapping, an iterative data-refinement strategy. Assisted by an auxiliary Pseudo-Clear Generation pipeline, training initially starts with pseudo-style conditioning videos. As training proceeds, these inputs are progressively replaced with increasingly realistic videos generated by the model itself. This strategy bridges the pseudo-to-real domain gap, allowing the model to adapt seamlessly to real-world input distributions and naturally support bidirectional clear adverse translation. Furthermore, to strictly enforce structural integrity and suppress hallucinations, we introduce Scene-Fidelity RL Optimization, a reward-driven policy optimization strategy that explicitly penalizes alterations to safety-critical driving elements. Extensive experiments demonstrate that RealWeather significantly outperforms existing methods in visual realism and structural preservation, while enabling robust long-tail weather scenario generation and strong zero-shot out-of-distribution generalization. Our video demos can be found at https://hust-umi.github.io/RealWeather/.