MobileFetalCLIP: 모바일 태아 초음파 분석을 위한 선택적 반발 지식 증류

MobileFetalCLIP: Selective Repulsive Knowledge Distillation for Mobile Fetal Ultrasound Analysis

태아 초음파 AI는 자원이 부족한 환경에서 산전 진료를 혁신할 수 있지만, 현재의 기반 모델은 3억 개 이상의 시각적 파라미터를 포함하고 있어, 현장 진료 장비에 적용하기 어렵습니다. 기존의 지식 증류 방법은 이러한 극심한 용량 차이(약 26배)에서 효과적으로 작동하지 않으며, 작고 가벼운 모델이 거대한 모델의 구조적 특징을 모방하는 데 용량을 낭비하게 됩니다. 우리는 선택적 반발 지식 증류(Selective Repulsive Knowledge Distillation)를 제안합니다. 이는 대조 학습 기반의 지식 증류를 대각 성분과 비대각 성분으로 분리합니다. 대각 성분은 유사한 쌍의 정렬을 유지하는 반면, 비대각 성분은 음수 값으로 감소하여 학생 모델이 교사 모델의 클래스 간 혼동에서 벗어나도록 유도하고, 모델 구조에 내재된 특징을 발견하도록 합니다. 1140만 개의 파라미터로 구성된 저희 모델은 3억 400만 개의 파라미터를 가진 FetalCLIP 교사 모델보다 HC18 데이터셋의 초기 설정(zero-shot) 환경에서 태아 생체 측정 정확도(88.6% vs. 83.5%) 및 뇌 영역 F1 점수(0.784 vs. 0.702)에서 더 높은 성능을 보입니다. 또한, iPhone 16 Pro에서 1.6ms의 실행 속도를 보여 휴대용 초음파 장치에서 실시간으로 AI 기능을 제공할 수 있습니다. 저희의 코드, 모델 및 앱은 https://github.com/numanai/MobileFetalCLIP 에서 공개적으로 이용할 수 있습니다.

Fetal ultrasound AI could transform prenatal care in low-resource settings, yet current foundation models exceed 300M visual parameters, precluding deployment on point-of-care devices. Standard knowledge distillation fails under such extreme capacity gaps (~26x), as compact students waste capacity mimicking architectural artifacts of oversized teachers. We introduce Selective Repulsive Knowledge Distillation, which decomposes contrastive KD into diagonal and off-diagonal components: matched pair alignment is preserved while the off-diagonal weight decays into negative values, repelling the student from the teacher's inter-class confusions and forcing discovery of architecturally native features. Our 11.4M parameter student surpasses the 304M-parameter FetalCLIP teacher on zero-shot HC18 biometry validity (88.6% vs. 83.5%) and brain sub-plane F1 (0.784 vs. 0.702), while running at 1.6 ms on iPhone 16 Pro, enabling real-time assistive AI on handheld ultrasound devices. Our code, models, and app are publicly available at https://github.com/numanai/MobileFetalCLIP.