등록 정보를 기반으로 한 스펙트럴 융합: 등록되지 않은 WLI/NBI 내시경 병변 분할

Registration-Grounded Spectral Fusion for Unregistered WLI/NBI Endoscopic Lesion Segmentation

화이트라이트 이미징(WLI)과 협대역 이미징(NBI)은 내시경 병변에 대한 상호 보완적인 정보를 제공하지만, 시점 변화, 조직 변형 및 순차적인 수동 촬영으로 인해 이러한 이미지 쌍이 공간적으로 정렬되지 않는 경우가 많습니다. 이는 직접적인 WLI/NBI 융합을 통해 서로 대응하지 않는 영역이 혼합될 가능성이 있으며, 심지어 병변 경계 주변의 분할 성능을 저하시킬 수 있습니다. 이 문제를 해결하기 위해, 본 연구에서는 등록되지 않았지만 쌍으로 존재하는 WLI/NBI 병변 분할을 위한 신뢰도 기반 복소-영역 융합 프레임워크를 제안합니다. 이 프레임워크는 먼저 위상 정규화된 특징 대응 관계를 설정하고, 교차 모달 대응이 어디에서 신뢰할 수 있는지 추정합니다. 이러한 신뢰도를 바탕으로, 모델은 학습 가능한 복소 표현 방식으로 WLI 및 NBI 특징을 선택적으로 융합합니다. 이 표현 방식에서, WLI로부터 파생된 정보는 주로 외관과 관련된 크기 반응을 제공하고, NBI로부터 파생된 정보는 구조에 민감한 위상 반응을 제공합니다. 기존의 실수 값 기반 또는 대칭적 다중 모드 융합 방법과는 달리, 제안하는 방법은 WLI와 NBI의 서로 다른 역할을 명시적으로 모델링하고, 국부적으로 일치하지 않는 영역에서 신뢰할 수 없는 교차 모달 상호 작용을 억제합니다. 쌍으로 존재하는 WLI/NBI 내시경 데이터셋에 대한 실험 결과, 제안하는 신뢰도 기반 등록 및 복소-영역 융합 방법이 병변 분할 성능을 지속적으로 향상시키는 것을 확인했습니다. 역할 역전 및 모듈 제거 연구를 통해, 모달별 역할 설계와 신뢰도를 기반으로 한 교차 모달 상호 작용의 필요성이 추가로 검증되었습니다.

White-light imaging (WLI) and narrow-band imaging (NBI) provide complementary views of endoscopic lesions, but their paired observations are often spatially misaligned due to viewpoint changes, tissue deformation, and sequential handheld acquisition. This makes direct WLI/NBI fusion prone to mixing non-corresponding regions and may even degrade segmentation around lesion boundaries. To address this problem, we propose a reliability-aware complex-domain fusion framework for paired-but-unregistered WLI/NBI lesion segmentation. The framework first establishes topology-regularized feature correspondence and further estimates where the cross-modal correspondence is reliable. Guided by this reliability, the model selectively fuses WLI and NBI features in a learnable complex representation. In this representation, WLI-derived cues mainly provide appearance-related magnitude responses, while NBI-derived cues provide structure-sensitive phase responses. Unlike conventional real-valued or symmetric multimodal fusion, the proposed method explicitly models the different roles of WLI and NBI and suppresses unreliable cross-modal interaction in locally mismatched regions. Experiments on paired WLI/NBI endoscopic datasets show that the proposed reliability-aware registration grounding and complex-domain fusion consistently improve lesion segmentation performance. Role-reversal and module ablation studies further validate the necessity of both the modality-role design and reliability-guided cross-modal interaction.