SurgLAT: 심층 인식 기반 로봇 복강경 제어를 위한 수술 잠재적 주의 집중 추적 기술

SurgLAT: Surgical Latent Attention Tracking for Depth-Aware Robotic Laparoscope Control

자율적인 복강경 카메라 제어는 동적인 수술 환경에서 외과의의 의도를 지속적으로 이해해야 하며, 이때 목표 영역은 안정적인 물리적 대상이 아니라 잠재적이고 시간적으로 변화하는 주의 집중 상태입니다. 본 연구에서는 수술 잠재적 주의 집중 추적 (SurgLAT)이라는 인과 관계 기반 온라인 프레임워크를 제안하여, 이를 통해 잠재적인 수술 주의 집중을 모델링하고 자율적인 복강경 시야 제어를 수행합니다. SurgLAT는 고정된 DINOv3 인코더와 상태에 따른 공간 토큰 믹서를 사용하여 메모리 기반의 공간적 사전 지식을 활용하여 수술 관련 정보를 추출합니다. 또한, 선택적 인과 관계 기반 잠재적 기억 모듈은 현재, 최근 및 과거의 잠재적 상태를 동적으로 검색하여 단기적인 운동 연속성과 장기적인 수술 의도 변화를 동시에 모델링합니다. 학습된 잠재적 수술 주의 집중 상태는 확률적 주의 집중 히트맵과 수술 영역으로 변환되어 하위 단계의 내시경 제어에 활용됩니다. 인식 기능 외에도, 가상 축 기반의 명시적인 복강경 원격 중심 운동 (RCM) 제어 프레임워크를 도입하여 안정적이고 부드러운 로봇 팔 움직임을 위한 중복성 고려 초기화 방법을 함께 제시합니다. 본 시스템은 실제 복강경 수술 영상 및 물리적 로봇 복강경 플랫폼에서 검증되었으며, 실험 결과는 폐색, 빠른 움직임 및 목표 전환 상황에서도 강력한 온라인 수술 영역 추적과 안정적인 자율적인 내시경 조절 능력을 보여주며, 수술 자율성을 위한 잠재적 의도 모델링의 효과를 입증합니다.

Autonomous laparoscopic camera control requires continuous understanding of the surgeon's operative intent in dynamic surgical scenes, where the target operative region is not a stable physical object but a latent and temporally evolving attention state. In this work, we present Surgical Latent Attention Tracking (SurgLAT), a causal online framework for latent surgical attention modeling and autonomous laparoscopic view control. SurgLAT uses a frozen DINOv3 encoder and a state-conditioned spatial token mixer to extract operative evidence under a memory-guided spatial prior, while a selective causal latent memory module jointly models short-term motion continuity and long-horizon surgical intent evolution through dynamic retrieval of current, recent, and historical latent states. The learned latent surgical attention state is decoded into a probabilistic attention heatmap and operative region for downstream endoscope guidance. Beyond perception, we further introduce a robotic deployment framework with explicit laparoscopic Remote Center of Motion (RCM) constrained control based on virtual-axis formulation, together with redundancy-aware null-space initialization for stable and smooth manipulator motion. We validate the full system on real laparoscopic surgical videos and a physical robotic laparoscope platform. Experimental results demonstrate robust online operative-region tracking and stable autonomous endoscopy adjustment under occlusion, rapid motion, and target transitions, highlighting the effectiveness of latent surgical intent modeling for surgical autonomy.