QUSR: 품질 인지 및 불확실성 기반 이미지 초해상도 확산 모델

QUSR: Quality-Aware and Uncertainty-Guided Image Super-Resolution Diffusion Model

확산 모델 기반 이미지 초해상도(ISR) 기술은 뛰어난 잠재력을 보여주었지만, 실제 환경에서는 저하 정도가 알려지지 않고 공간적으로 균일하지 않아 세부 정보 손실이나 시각적 오류가 발생하는 어려움이 있습니다. 이러한 문제를 해결하기 위해, 품질 인지 사전 지식(QAP)과 불확실성 기반 노이즈 생성(UNG) 모듈을 통합한 새로운 초해상도 확산 모델인 QUSR을 제안합니다. UNG 모듈은 불확실성이 높은 영역(예: 모서리 및 질감)에는 더 강한 노이즈를 적용하여 복잡한 세부 정보를 복원하고, 불확실성이 낮은 영역(예: 평탄한 영역)에는 노이즈를 최소화하여 원래 정보를 보존하도록 노이즈 주입 강도를 적응적으로 조절합니다. 동시에, QAP는 최첨단 다중 모드 대규모 언어 모델(MLLM)을 활용하여 신뢰할 수 있는 품질 설명을 생성함으로써, 복원 과정에 효과적이고 해석 가능한 품질 사전 지식을 제공합니다. 실험 결과는 QUSR이 실제 환경에서 고품질의 사실적인 이미지를 생성할 수 있음을 확인해줍니다. 소스 코드는 https://github.com/oTvTog/QUSR 에서 확인할 수 있습니다.

Diffusion-based image super-resolution (ISR) has shown strong potential, but it still struggles in real-world scenarios where degradations are unknown and spatially non-uniform, often resulting in lost details or visual artifacts. To address this challenge, we propose a novel super-resolution diffusion model, QUSR, which integrates a Quality-Aware Prior (QAP) with an Uncertainty-Guided Noise Generation (UNG) module. The UNG module adaptively adjusts the noise injection intensity, applying stronger perturbations to high-uncertainty regions (e.g., edges and textures) to reconstruct complex details, while minimizing noise in low-uncertainty regions (e.g., flat areas) to preserve original information. Concurrently, the QAP leverages an advanced Multimodal Large Language Model (MLLM) to generate reliable quality descriptions, providing an effective and interpretable quality prior for the restoration process. Experimental results confirm that QUSR can produce high-fidelity and high-realism images in real-world scenarios. The source code is available at https://github.com/oTvTog/QUSR.