SurgNarrator: 수술 영상 이해를 위한 생성적 검색 프레임워크

SurgNarrator: A Generative Retrieval Framework for Surgical Video Understanding

수술 절차는 구조화되고 반복적인 임상 이벤트로 진행되며, 이러한 이벤트에 대한 실시간 이해는 수술 중 의사 결정 및 지원에 매우 중요합니다. 그러나 기존의 영상 이해 방법은 트레이드오프를 강요합니다. 자기 회귀(autoregressive) 기반의 영상-언어 모델은 종합적인 추론을 지원하지만, 시간 제약이 있는 임상 환경에서는 실용적이지 않으며, 반면 대조 학습(contrastive learning) 모델은 낮은 지연 시간을 제공하지만 복잡한 장면 이해에는 어려움을 겪습니다. 최근에는 일반 영역의 영상 이해를 위해 생성적 검색 방법이 연구되고 있지만, 수술 분야에 적용하기는 쉽지 않습니다. 왜냐하면 시각적으로 유사해 보이지만 의미적으로 다른 이벤트가 존재할 수 있으며, 사용되는 용어가 매우 수술 특화되어 있기 때문입니다. 이에 우리는 수술 영상 이해에 최적화된 새로운 생성적 검색 프레임워크인 SurgNarrator를 제안합니다. 우리는 수술 관련 캡션을 기반으로 임상적으로 의미 있는 검색 공간을 정의하기 위해 잘 구성된 수술 중심 어휘를 구축했습니다. 그런 다음, 사전 학습된 Qwen3-VL-Embedding-8B 모델을 시간 정보를 고려한 대조 학습 방식으로 조정하여 차별적인 임상 표현을 학습합니다. 추론 과정에서 계층적이고 절차 인지(procedure-aware) 검색 전략을 사용하여 검색 공간을 관련 절차 유형으로 좁히고, 빠르고 효과적인 결과를 제공합니다. 우리 방법은 12개의 벤치마크 데이터셋에서 제로샷(zero-shot) 방식으로 평가되었으며, 최첨단 모델 대비 일관된 성능 향상을 보여주었습니다. 또한 생성적 기반 모델과 비교하여 출력 단계 지연 시간을 두 배 이상 줄였습니다.

Surgical procedures unfold as structured and recurring clinical events, whose real-time understanding via intraoperative surgical videos is critical for intraoperative decision-making and support. However, existing video understanding methods force a trade-off: autoregressive video-language models support comprehensive reasoning but are not practical for time-sensitive clinical applications, whereas contrastive models offer low latency but struggle with complex scene understanding. Recently, generative retrieval has been explored for general-domain video understanding, but transferring it to surgery is not trivial because near-identical visual appearances may indicate semantically distinct events, and the terminology involved is highly surgery-specific. To this end, we propose SurgNarrator, a new generative retrieval framework tailored for surgical video understanding. We construct a well-curated surgery-centric vocabulary from surgical captions to define a clinically meaningful retrieval space. We then adapt the pre-trained Qwen3-VL-Embedding-8B to learn discriminative clinical representations with a temporally-aware contrastive objective. During inference, a hierarchical, procedure-aware retrieval strategy narrows the search space to the relevant procedure type, delivering fast and effective responses. Our method is comprehensively evaluated on twelve benchmarks in a zero-shot setting and achieves consistent performance gains over state-of-the-art baselines, while reducing output-stage latency by more than two orders of magnitude compared with the generative baseline.