어둠 속에서 견고하고 3차원 인지 능력을 갖춘 RGB-NIR 이미지 촬영 연구

Toward Robust and 3D-Aware RGB-NIR Imaging in the Dark

저조도 환경에서의 안정적인 이미지 촬영은 여전히 어려운 과제입니다. 최근 연구에서는 노이즈가 많은 RGB 이미지와 근적외선(NIR) 이미지를 결합하여 성능 향상을 시도했지만, 대부분의 방법은 신중하게 구성된 학습 데이터 쌍에 의존하며, 다양한 상황에서 제한적인 견고성을 보입니다. 본 논문에서는 3차원 인지 신경 모델을 통합하여 RGB-NIR 저조도 이미지 촬영에 대한 새로운 관점을 제시합니다. 깨끗한 RGB 데이터를 사용하지 않고도, 강력한 모델을 최적화하여 극도로 노이즈가 많은 RGB 이미지를 3차원 공간에서 NIR 신호와 효과적으로 결합하고, 이를 통해 깨끗한 RGB 이미지를 복원할 수 있습니다. 제안된 모델은 깨끗한 RGB 데이터 수집의 필요성을 없애고, 다양한 노이즈 수준에서도 일반화됩니다. 합성 및 실제 데이터를 사용한 광범위한 실험 결과는 그 우수성을 입증합니다. 코드: https://github.com/MyNiuuu/3DarkFusion

Robust low-light imaging remains challenging for the community. Recent studies have explored fusing Near-Infrared (NIR) with noisy RGB to achieve improved enhancement, yet most methods depend on carefully curated training data pairs, with limited robustness under different scenarios. This paper offers a new perspective for RGB-NIR low-light imaging by incorporating 3D-aware neural modeling. Without using clean RGB supervision, a powerful model can be optimized to implicitly fuse extremely noisy RGB observations with NIR cues in 3D space, effectively recovering clean RGB images. The proposed model obviates the requirement for clean RGB data collection, generalizes across different noise levels. Extensive evaluations on synthetic and real data demonstrate its superiority. Codes available: https://github.com/MyNiuuu/3DarkFusion