EndoSERV: 영상 기반 내시경 로봇 항법 시스템

EndoSERV: A Vision-based Endoluminal Robot Navigation System

로봇 보조 내시경 시술은 초기 암 치료에 점점 더 많이 활용되고 있습니다. 그러나 시술 부위 내의 복잡하고 좁고 꼬여있는 구조는 로봇의 항법에 상당한 어려움을 야기합니다. 영상 기반 항법은 유망한 해결책을 제공하지만, 기존의 위치 추정 방식은 조직 변형, 생체 내 아티팩트 및 일관된 위치 추정을 위한 뚜렷한 특징점 부족으로 인해 오류가 발생하기 쉽습니다. 본 논문에서는 이러한 문제점을 해결하기 위한 새로운 EndoSERV 위치 추정 방법을 제시합니다. 이 방법은 크게 두 부분, 즉 **SE**gment-to-structure (구조 기반 분할)와 **R**eal-to- extbf{V}irtual (실제-가상) 매핑으로 구성되어 있으며, 이 두 가지 요소의 합성어에서 이름이 유래되었습니다. 장거리 및 복잡한 시술 부위 구조는 더 작은 하위 단위로 분할하여 독립적으로 오도메트리를 추정합니다. 라벨 부족 문제를 해결하기 위해 효율적인 전이 기술을 사용하여 실제 이미지 특징을 가상 영역으로 매핑하여 가상 자세의 ground truth 데이터를 활용합니다. EndoSERV의 학습 단계는 텍스처에 독립적인 특징을 추출하기 위한 오프라인 사전 학습 단계와 실제 환경에 적응하는 온라인 학습 단계로 구성됩니다. 공개 데이터셋 및 임상 데이터셋을 기반으로 수행된 광범위한 실험을 통해, 실제 자세 라벨이 없는 경우에도 본 방법의 효과를 입증했습니다.

Robot-assisted endoluminal procedures are increasingly used for early cancer intervention. However, the intricate, narrow and tortuous pathways within the luminal anatomy pose substantial difficulties for robot navigation. Vision-based navigation offers a promising solution, but existing localization approaches are error-prone due to tissue deformation, in vivo artifacts and a lack of distinctive landmarks for consistent localization. This paper presents a novel EndoSERV localization method to address these challenges. It includes two main parts, \textit{i.e.}, \textbf{SE}gment-to-structure and \textbf{R}eal-to-\textbf{V}irtual mapping, and hence the name. For long-range and complex luminal structures, we divide them into smaller sub-segments and estimate the odometry independently. To cater for label insufficiency, an efficient transfer technique maps real image features to the virtual domain to use virtual pose ground truth. The training phases of EndoSERV include an offline pretraining to extract texture-agnostic features, and an online phase that adapts to real-world conditions. Extensive experiments based on both public and clinical datasets have been performed to demonstrate the effectiveness of the method even without any real pose labels.