가이드 기반 렌즈리스 편광 이미징

Guided Lensless Polarization Imaging

편광 이미징은 빛의 편광 상태를 캡처하여 인간의 눈으로는 볼 수 없는 정보를 제공하며, 생체의학 진단, 자율 주행, 원격 감지 등 다양한 분야에서 유용합니다. 그러나 기존의 편광 카메라는 종종 비싸거나 부피가 크거나 둘 다이며, 이는 실제 사용에 제한을 둡니다. 렌즈리스 이미징은 렌즈를 확산판과 같은 간단한 광학 요소로 대체하고 계산적인 복원을 수행하여 소형화되고 저렴한 대안을 제공하지만, 기존의 렌즈리스 편광 시스템은 복원 품질이 제한적인 단점이 있습니다. 이러한 한계를 극복하기 위해, 우리는 RGB 가이드 기반의 렌즈리스 편광 이미징 시스템을 소개합니다. 이 시스템은 소형 편광-RGB 센서와 구조적 가이드를 제공하는 기존의 RGB 카메라를 결합합니다. 우리는 두 단계 파이프라인을 통해 각 RGB 색상 채널에 대한 다각 편광 이미지를 복원합니다. 먼저, 물리 기반 역전산을 사용하여 초기 편광 이미지를 복원하고, 그 다음에는 Transformer 기반 퓨전 네트워크가 기존 RGB 카메라에서 제공하는 RGB 가이드 이미지를 사용하여 이 복원을 개선합니다. 우리의 두 단계 방법은 렌즈리스 방식의 기존 방법보다 복원 품질과 정확도를 크게 향상시키며, 다양한 데이터셋과 이미징 조건에서 일반화됩니다. 또한, 별도의 추가 튜닝 없이 실제 프로토타입 렌즈리스 카메라에서 고품질의 결과를 얻을 수 있습니다.

Polarization imaging captures the polarization state of light, revealing information invisible to the human eye yet valuable in domains such as biomedical diagnostics, autonomous driving, and remote sensing. However, conventional polarization cameras are often expensive, bulky, or both, limiting their practical use. Lensless imaging offers a compact, low-cost alternative by replacing the lens with a simple optical element like a diffuser and performing computational reconstruction, but existing lensless polarization systems suffer from limited reconstruction quality. To overcome these limitations, we introduce a RGB-guided lensless polarization imaging system that combines a compact polarization-RGB sensor with an auxiliary, widely available conventional RGB camera providing structural guidance. We reconstruct multi-angle polarization images for each RGB color channel through a two-stage pipeline: a physics-based inversion recovers an initial polarization image, followed by a Transformer-based fusion network that refines this reconstruction using the RGB guidance image from the conventional RGB camera. Our two-stage method significantly improves reconstruction quality and fidelity over lensless-only baselines, generalizes across datasets and imaging conditions, and achieves high-quality real-world results on our physical prototype lensless camera without any fine-tuning.