LiveLight: 실시간 스트리밍 비디오 리라이팅 시스템 - 인터랙티브한 3D 조명 제어

LiveLight: Real-time Streaming Video Relighting with Interactive Control

본 논문에서는 LiveLight를 소개합니다. LiveLight는 실시간 스트리밍 비디오 리라이팅을 위한 최초의 확산 모델 기반 프레임워크이며, 인터랙티브한 3D 조명 제어가 가능합니다. 이러한 시스템을 구현하는 것은 쉽지 않으며, 세 가지 주요 과제를 해결해야 합니다: (1) 동적인 3D 조명을 확산 모델에 효과적으로 주입하는 것, (2) 실시간 속도를 위해 극도로 낮은 NFE(함수 평가 횟수) 예산 하에서 높은 충실도의 이미지 생성을 유지하는 것, 그리고 (3) 인터랙티브한 제어를 위한 지속적인 스트리밍을 가능하게 하는 것입니다. 이러한 문제점을 해결하기 위해 세 가지 핵심 디자인을 제안합니다. 첫째, 정확한 조명 주입을 위해, 다중 평면 광 조사(MPLI) 조건을 직접 확산 모델의 핵심 구조에 연결하는 경량 어댑터를 제안합니다. MPLI는 깊이 정보를 포함하는 3D 조명 기하학적 정보를 담고 있는 광 조사 지도를 나타냅니다. 둘째, 실시간 성능을 위한 낮은 NFE 환경에서 이미지 품질 저하를 방지하기 위해, 기하학 정보 기반의 피드백 브랜치를 도입했습니다. 이 학습 시간 제약은 고정된 기하학 예측 모델을 사용하여 깊이 및 법선 방향과 일관된 리라이팅을 강제하며, 추론 오버헤드를 추가하지 않고도 기하학적으로 타당한 쉐이딩을 보장합니다. 마지막으로, 스트리밍 인터랙션을 가능하게 하기 위해, 다양한 노이즈 레벨에서 잠재 이미지 조각의 디노이징 단계를 유지하는 프로그레시브 롤링 윈도우 전략을 개발했습니다. 이 전략은 중간 상태를 활용하여 시간적 일관성을 보장하며, 프레임별 참조 업데이트를 통해 임의로 긴 비디오 리라이팅을 지원합니다. 실제 및 합성 데이터셋에 대한 광범위한 실험 결과는 LiveLight가 최첨단 수준의 리라이팅 품질을 달성하면서 실시간 속도로 작동하며, 시간적 안정성, 조명 제어 가능성 및 사용자 선호도 측면에서 기존 오프라인 모델보다 훨씬 우수한 성능을 보인다는 것을 보여줍니다. 실시간 인터랙티브 리라이팅 연구를 촉진하기 위해, 저희는 개발된 모델, 학습 데이터, 그리고 합성 데이터 생성기를 공개할 예정입니다.

We present LiveLight, the first diffusion-based framework for real-time streaming video relighting with interactive 3D lighting control. Achieving this is non-trivial, as it requires overcoming three critical challenges: effectively injecting dynamic 3D lighting into a diffusion model, maintaining high-fidelity generation under an extremely low NFE (Number of Function Evaluations) budget for real-time speed, and facilitating continuous streaming for interactive control. To address these pain points, we propose three key designs. First, for accurate lighting injection, we propose a lightweight adapter that feeds Multi-Plane Light Irradiance (MPLI) conditions-depth-aware irradiance maps encoding 3D lighting geometry-directly into the diffusion backbone. Second, to prevent rendering quality degradation at low NFEs towards real-time distillation, we introduce a geometry-guided feedback branch. This training-time constraint leverages a frozen geometry estimator to enforce depth- and normal-consistent relighting, ensuring geometrically plausible shading without adding inference overhead. Finally, to enable streaming interaction, we develop a progressive rolling-window strategy that maintains a denoising ladder of latent chunks at varying noise levels. By propagating intermediate states, this strategy guarantees temporal coherence and supports arbitrarily long video relighting with per-frame reference refresh. Extensive experiments on real-world and synthetic benchmarks demonstrate that LiveLight achieves state-of-the-art relighting quality while running at real-time speed, significantly outperforming offline baselines in temporal stability, lighting controllability, and user preference. To foster real-time interactive relighting research, we will publicly release our models, training data, and synthetic data generator.