IDDR-NGP: 인스턴트 뉴럴 레디언스 필드를 활용한 디텍터를 통한 잡음 제거 방법

IDDR-NGP: Incorporating Detectors for Distractor Removal with Instant Neural Radiance Field

본 논문에서는 인스턴트 뉴럴 레디언스 필드(Instant-NGP)를 기반으로 작동하는 최초의 통합 잡음 제거 방법인 IDDR-NGP를 제안합니다. IDDR-NGP는 눈 결정, 반짝이, 잎 제거, 꽃잎 등 다양한 종류의 3D 장면 내 잡음을 제거할 수 있으며, 기존 방법들이 특정 유형의 잡음에만 초점을 맞추는 것과는 대조적입니다. 본 연구에서는 2D 디텍터를 활용하여 암묵적인 3D 표현을 통합함으로써, 여러 장의 손상된 이미지로부터 3D 장면을 효율적으로 복원하는 것이 가능하다는 것을 보여줍니다. IDDR-NGP의 렌더링 결과를 최적화하기 위해 학습된 지각적 이미지 패치 유사성(LPIPS) 손실과 다중 뷰 보정 손실(MVCL)을 설계했으며, 이를 통해 여러 장의 손상된 이미지로부터 정보를 통합할 수 있습니다. 제안하는 방법은 고품질의 3D 장면을 생성하기 위해 엔드-투-엔드 방식으로 학습될 수 있습니다. 암묵적인 3D 표현에서의 잡음 제거 연구를 지원하기 위해, 합성 데이터와 실제 데이터를 모두 포함하는 새로운 벤치마크 데이터셋을 구축했습니다. IDDR-NGP의 효과와 견고성을 검증하기 위해, 실제 및 합성 장면 모두에 다양한 종류의 잡음을 추가하고 해당 레이블을 제공했습니다. 광범위한 실험 결과는 IDDR-NGP가 다양한 유형의 잡음을 제거하는 데 효과적이고 견고하다는 것을 입증합니다. 또한, 제안하는 방법은 기존의 최첨단(SOTA) 눈 제거 방법과 유사한 결과를 달성하며, 실제 및 합성 잡음을 정확하게 제거할 수 있습니다.

This paper presents the first unified distractor removal method, named IDDR-NGP, which directly operates on Instant-NPG. The method is able to remove a wide range of distractors in 3D scenes, such as snowflakes, confetti, defoliation and petals, whereas existing methods usually focus on a specific type of distractors. By incorporating implicit 3D representations with 2D detectors, we demonstrate that it is possible to efficiently restore 3D scenes from multiple corrupted images. We design the learned perceptual image patch similarity~( LPIPS) loss and the multi-view compensation loss (MVCL) to jointly optimize the rendering results of IDDR-NGP, which could aggregate information from multi-view corrupted images. All of them can be trained in an end-to-end manner to synthesize high-quality 3D scenes. To support the research on distractors removal in implicit 3D representations, we build a new benchmark dataset that consists of both synthetic and real-world distractors. To validate the effectiveness and robustness of IDDR-NGP, we provide a wide range of distractors with corresponding annotated labels added to both realistic and synthetic scenes. Extensive experimental results demonstrate the effectiveness and robustness of IDDR-NGP in removing multiple types of distractors. In addition, our approach achieves results comparable with the existing SOTA desnow methods and is capable of accurately removing both realistic and synthetic distractors.