NeRF-MIR: 신경 라디언스 필드를 이용한 고품질 마스크 이미지 복원 연구

NeRF-MIR: Towards High-Quality Restoration of Masked Images with Neural Radiance Fields

신경 라디언스 필드(NeRF)는 새로운 뷰 합성에서 뛰어난 성능을 보여주었습니다. 그러나 자연 장면 캡처에서 흔히 나타나는 손상된 이미지로부터 3차원 장면을 복원하는 데 있어 NeRF는 개선의 여지가 많습니다. 본 논문에서는 마스크 이미지 복원을 위해 특별히 제안된 새로운 신경 렌더링 방법인 NeRF-MIR을 소개하며, 이 방법이 NeRF 분야에서 잠재력을 보여줍니다. NeRF에서 픽셀에 임의의 광선을 방출하는 방식이 복잡한 이미지 텍스처를 효과적으로 학습하지 못할 수 있다는 점을 인지하고, 방출되는 광선을 적절하게 분산시키는 패치 기반 엔트로피 광선 방출(PERE) 전략을 제안합니다. 이를 통해 NeRF-MIR은 다양한 뷰의 이미지에서 포괄적인 정보를 융합할 수 있습니다. 또한, 마스크 영역을 자체 학습 방식으로 복원하는 점진적 반복 복원(PIRE) 메커니즘을 도입했습니다. 더불어, 마스크 영역에 대한 손실 가중치를 자동으로 재조정하는 동적 가중치 손실 함수를 설계했습니다. 기존 데이터셋은 NeRF 기반의 마스크 이미지 복원을 지원하지 않으므로, 손상된 시나리오를 시뮬레이션하기 위해 세 개의 마스크 데이터셋을 구축했습니다. 실제 데이터 및 구축된 데이터셋에 대한 광범위한 실험 결과, NeRF-MIR이 마스크 이미지 복원에서 기존 방법보다 우수한 성능을 보이는 것을 확인했습니다.

Neural Radiance Fields (NeRF) have demonstrated remarkable performance in novel view synthesis. However, there is much improvement room on restoring 3D scenes based on NeRF from corrupted images, which are common in natural scene captures and can significantly impact the effectiveness of NeRF. This paper introduces NeRF-MIR, a novel neural rendering approach specifically proposed for the restoration of masked images, demonstrating the potential of NeRF in this domain. Recognizing that randomly emitting rays to pixels in NeRF may not effectively learn intricate image textures, we propose a \textbf{P}atch-based \textbf{E}ntropy for \textbf{R}ay \textbf{E}mitting (\textbf{PERE}) strategy to distribute emitted rays properly. This enables NeRF-MIR to fuse comprehensive information from images of different views. Additionally, we introduce a \textbf{P}rogressively \textbf{I}terative \textbf{RE}storation (\textbf{PIRE}) mechanism to restore the masked regions in a self-training process. Furthermore, we design a dynamically-weighted loss function that automatically recalibrates the loss weights for masked regions. As existing datasets do not support NeRF-based masked image restoration, we construct three masked datasets to simulate corrupted scenarios. Extensive experiments on real data and constructed datasets demonstrate the superiority of NeRF-MIR over its counterparts in masked image restoration.