DiffHDR: 비디오 확산 모델을 활용한 LDR 비디오의 HDR 재구성

DiffHDR: Re-Exposing LDR Videos with Video Diffusion Models

대부분의 디지털 비디오는 8비트의 낮은 다이나믹 레인지(LDR) 형식으로 저장되며, 이 과정에서 원래의 높은 다이나믹 레인지(HDR) 장면의 상당 부분이 채워짐 및 양자화로 인해 손실됩니다. 이러한 하이라이트 및 그림자 디테일의 손실은 정확한 휘도 매핑을 HDR 디스플레이에 적용하는 것을 어렵게 만들고, 후반 작업 워크플로우에서 의미 있는 재구성을 제한합니다. LDR 이미지를 HDR로 변환하기 위한 기술들이 제안되었지만, 과다 노출 및 노출 부족 영역에서 현실적인 디테일을 복원하는 데 어려움을 겪습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 LDR-to-HDR 변환을 비디오 확산 모델의 잠재 공간 내에서 생성적인 방사 휘도 채우기 작업으로 정의하는 프레임워크인 DiffHDR을 제안합니다. DiffHDR은 Log-Gamma 색 공간에서 작동하며, 사전 훈련된 비디오 확산 모델로부터 얻은 시공간 생성적 선행 정보를 활용하여 과다 노출 및 노출 부족 영역에서 현실적인 HDR 방사 휘도를 합성하고, 양자화된 픽셀의 연속적인 장면 방사 휘도를 복원합니다. 또한, 본 프레임워크는 텍스트 프롬프트 또는 참조 이미어를 통해 제어 가능한 LDR-to-HDR 비디오 변환을 가능하게 합니다. 페어링된 HDR 비디오 데이터의 부족 문제를 해결하기 위해, 정적 HDRI 맵에서 고품질의 HDR 비디오 훈련 데이터를 합성하는 파이프라인을 개발했습니다. 광범위한 실험 결과, DiffHDR은 방사 휘도 정확도 및 시간 안정성 측면에서 최첨단 방법보다 뛰어난 성능을 보이며, 상당한 재구성을 위한 여유를 가진 현실적인 HDR 비디오를 생성합니다.

Most digital videos are stored in 8-bit low dynamic range (LDR) formats, where much of the original high dynamic range (HDR) scene radiance is lost due to saturation and quantization. This loss of highlight and shadow detail precludes mapping accurate luminance to HDR displays and limits meaningful re-exposure in post-production workflows. Although techniques have been proposed to convert LDR images to HDR through dynamic range expansion, they struggle to restore realistic detail in the over- and underexposed regions. To address this, we present DiffHDR, a framework that formulates LDR-to-HDR conversion as a generative radiance inpainting task within the latent space of a video diffusion model. By operating in Log-Gamma color space, DiffHDR leverages spatio-temporal generative priors from a pretrained video diffusion model to synthesize plausible HDR radiance in over- and underexposed regions while recovering the continuous scene radiance of the quantized pixels. Our framework further enables controllable LDR-to-HDR video conversion guided by text prompts or reference images. To address the scarcity of paired HDR video data, we develop a pipeline that synthesizes high-quality HDR video training data from static HDRI maps. Extensive experiments demonstrate that DiffHDR significantly outperforms state-of-the-art approaches in radiance fidelity and temporal stability, producing realistic HDR videos with considerable latitude for re-exposure.