적응형 초음파 유도 니들 삽입 및 추적을 위한 비전-언어-액션 모델

A Vision-Language-Action Model for Adaptive Ultrasound-Guided Needle Insertion and Needle Tracking

초음파(US) 유도 니들 삽입은 동적인 영상 조건과 니들 시각화의 어려움으로 인해 매우 중요하면서도 어려운 절차입니다. 자동 니들 삽입을 위한 많은 방법이 제안되었지만, 이들은 종종 수동으로 설계된 파이프라인과 모듈식 제어기를 사용하며, 어려운 경우 성능이 저하되는 경향이 있습니다. 본 논문에서는 로봇 초음파(RUS) 시스템에서 적응형 및 자동 초음파 유도 니들 삽입 및 추적을 위한 비전-언어-액션(VLA) 모델을 제안합니다. 이 프레임워크는 니들 추적과 니들 삽입 제어에 대한 통합적인 접근 방식을 제공하며, 획득된 니들 위치 및 환경 인식을 기반으로 실시간으로 동적으로 삽입을 조정할 수 있도록 합니다. 실시간 및 엔드-투-엔드 추적을 달성하기 위해, 대규모 비전 백본에서 추출된 얕은 위치 정보와 심층 의미 정보를 통합하는 크로스-뎁스 퓨전(CDF) 추적 헤드를 제안합니다. 추적 작업에 대한 사전 훈련된 비전 백본을 적응시키기 위해, 매개변수 효율적인 특징 조정을 위한 트래킹-컨디셔닝(TraCon) 레지스터를 도입했습니다. 니들 추적 후, 불확실성을 고려한 제어 정책과 비동기 VLA 파이프라인을 제시하여 적응형 니들 삽입 제어를 수행하고, 안전성과 결과를 개선하기 위한 적시 의사 결정을 보장합니다. 니들 추적 및 삽입에 대한 광범위한 실험 결과, 제안된 방법이 최첨단 추적기와 수동 작업보다 일관되게 우수한 성능을 보이며, 더 높은 추적 정확도, 향상된 삽입 성공률 및 절차 시간 단축을 달성하여, RUS 기반의 지능형 개입을 위한 유망한 방향을 제시합니다.

Ultrasound (US)-guided needle insertion is a critical yet challenging procedure due to dynamic imaging conditions and difficulties in needle visualization. Many methods have been proposed for automated needle insertion, but they often rely on hand-crafted pipelines with modular controllers, whose performance degrades in challenging cases. In this paper, a Vision-Language-Action (VLA) model is proposed for adaptive and automated US-guided needle insertion and tracking on a robotic ultrasound (RUS) system. This framework provides a unified approach to needle tracking and needle insertion control, enabling real-time, dynamically adaptive adjustment of insertion based on the obtained needle position and environment awareness. To achieve real-time and end-to-end tracking, a Cross-Depth Fusion (CDF) tracking head is proposed, integrating shallow positional and deep semantic features from the large-scale vision backbone. To adapt the pretrained vision backbone for tracking tasks, a Tracking-Conditioning (TraCon) register is introduced for parameter-efficient feature conditioning. After needle tracking, an uncertainty-aware control policy and an asynchronous VLA pipeline are presented for adaptive needle insertion control, ensuring timely decision-making for improved safety and outcomes. Extensive experiments on both needle tracking and insertion show that our method consistently outperforms state-of-the-art trackers and manual operation, achieving higher tracking accuracy, improved insertion success rates, and reduced procedure time, highlighting promising directions for RUS-based intelligent intervention.