EndoVGGT: GNN 기반 심층 추정 알고리즘을 활용한 수술용 3D 재구성

EndoVGGT: GNN-Enhanced Depth Estimation for Surgical 3D Reconstruction

정확한 3차원 재구성은 변형 가능한 연부 조직을 다루는 수술 로봇 시스템에서 매우 중요합니다. 그러나 낮은 질감, 반사광, 그리고 수술 기구의 가려짐 현상은 기하학적 연속성을 파괴하여 기존의 고정된 위상 기반 접근 방식에 어려움을 야기합니다. 이러한 문제를 해결하기 위해, 우리는 변형을 고려한 그래프 어텐션(DeGAT) 모듈을 탑재한 기하학 중심 프레임워크인 EndoVGGT를 제안합니다. EndoVGGT는 정적인 공간적 이웃 관계를 사용하는 대신, 일관된 조직 영역 간의 장거리 상관 관계를 파악하기 위해 특징 공간 기반의 의미 그래프를 동적으로 구성합니다. 이를 통해, 구조적 단서를 가려진 영역을 넘어 안정적으로 전파하고, 전역적 일관성을 유지하며, 비정형 변형을 정확하게 복원할 수 있습니다. SCARED 데이터셋에 대한 광범위한 실험 결과, 제안하는 방법은 기존 최고 성능 모델보다 PSNR을 24.6%, SSIM을 9.1% 향상시켜 재구성 정확도를 크게 향상시켰습니다. 더욱 중요한 점은, EndoVGGT가 보이지 않은 SCARED 및 EndoNeRF 데이터셋에 대해 뛰어난 일반화 성능을 보여주어, DeGAT가 도메인에 독립적인 기하학적 사전 지식을 학습한다는 것을 확인시켜줍니다. 이러한 결과는 일관된 수술용 3차원 재구성을 위한 동적 특징 공간 모델링의 효과를 강조합니다.

Accurate 3D reconstruction of deformable soft tissues is essential for surgical robotic perception. However, low-texture surfaces, specular highlights, and instrument occlusions often fragment geometric continuity, posing a challenge for existing fixed-topology approaches. To address this, we propose EndoVGGT, a geometry-centric framework equipped with a Deformation-aware Graph Attention (DeGAT) module. Rather than using static spatial neighborhoods, DeGAT dynamically constructs feature-space semantic graphs to capture long-range correlations among coherent tissue regions. This enables robust propagation of structural cues across occlusions, enforcing global consistency and improving non-rigid deformation recovery. Extensive experiments on SCARED show that our method significantly improves fidelity, increasing PSNR by 24.6% and SSIM by 9.1% over prior state-of-the-art. Crucially, EndoVGGT exhibits strong zero-shot cross-dataset generalization to the unseen SCARED and EndoNeRF domains, confirming that DeGAT learns domain-agnostic geometric priors. These results highlight the efficacy of dynamic feature-space modeling for consistent surgical 3D reconstruction.