이미지 평활화를 위한 L0 그래디언트 정규화 기반 딥 이미지 사전

Deep Image Prior with L0 Gradient Regularizer for Image Smoothing

이미지 평활화는 이미지 처리의 기본적인 연산으로, 강한 에지 및 윤곽선과 같은 이미지의 기본 구조를 유지하고, 미세한 디테일 및 질감을 제거합니다. 많은 이미지 평활화 알고리즘은 로컬 윈도우 통계 값을 계산하거나 최적화 문제를 해결하는 방식을 사용합니다. 최근의 최첨단 방법은 딥러닝을 활용하지만, 이는 신중하게 구성된 학습 데이터 세트를 필요로 합니다. 이미지 평활화를 위한 적절한 학습 데이터 세트를 구축하는 것이 어렵기 때문에, 우리는 L0 그래디언트 정규화기를 통합한 딥 이미지 사전 프레임워크인 DIP-$\ell_0$를 제안합니다. 이 프레임워크는 어떠한 학습 데이터 없이도 고품질의 이미지 평활화를 수행할 수 있습니다. 비컨벡스이고 비부드러운 L0 "norm"을 가진 관련된 손실 함수를 적절하게 최소화하기 위해, 상용 L0 그래디언트 최소화 솔버를 사용하는 곱셈 방법 알고리즘을 개발했습니다. 수치 실험 결과, 제안된 DIP-$\ell_0$는 에지를 보존하는 이미지 평활화 및 JPEG 아티팩트 제거 측면에서 많은 이미지 평활화 알고리즘보다 우수한 성능을 보이는 것을 보여줍니다.

Image smoothing is a fundamental image processing operation that preserves the underlying structure, such as strong edges and contours, and removes minor details and textures in an image. Many image smoothing algorithms rely on computing local window statistics or solving an optimization problem. Recent state-of-the-art methods leverage deep learning, but they require a carefully curated training dataset. Because constructing a proper training dataset for image smoothing is challenging, we propose DIP-$\ell_0$, a deep image prior framework that incorporates the $\ell_0$ gradient regularizer. This framework can perform high-quality image smoothing without any training data. To properly minimize the associated loss function that has the nonconvex, nonsmooth $\ell_0$ ``norm", we develop an alternating direction method of multipliers algorithm that utilizes an off-the-shelf $\ell_0$ gradient minimization solver. Numerical experiments demonstrate that the proposed DIP-$\ell_0$ outperforms many image smoothing algorithms in edge-preserving image smoothing and JPEG artifact removal.