StructXLIP: 다중 모달 구조적 단서를 활용한 비전-언어 모델 향상

StructXLIP: Enhancing Vision-language Models with Multimodal Structural Cues

에지 기반 표현은 시각적 이해를 위한 필수적인 단서로, 초기 비전 연구에서 비롯되어 오늘날까지 핵심적인 원리로 자리 잡고 있다. 우리는 이 원리를 비전-언어 정렬(vision-language alignment)로 확장하여, 모달리티 간의 구조적 단서를 분리하고 정렬하는 것이 길고 세부 사항이 풍부한 캡션에 대한 미세 조정(fine-tuning)에 큰 이점을 줄 수 있음을 보여주며, 특히 교차 모달 검색(cross-modal retrieval) 향상에 중점을 둔다. 우리는 에지 맵(예: Canny)을 추출하여 이미지의 시각적 구조에 대한 프록시(proxy)로 취급하고, 해당 캡션을 필터링하여 구조적 단서를 강조함으로써 이를 "구조 중심적(structure-centric)"으로 만드는 미세 조정 정렬 패러다임인 StructXLIP를 소개한다. 미세 조정은 (i) 에지 맵을 구조적 텍스트와 정렬, (ii) 국소 에지 영역을 텍스트 청크(chunk)와 매칭, (iii) 표현 표류(representation drift)를 방지하기 위해 에지 맵을 컬러 이미지에 연결하는 세 가지 구조 중심적 손실을 통해 표준 정렬 손실을 보강한다. 이론적 관점에서 표준 CLIP이 시각적 및 텍스트 임베딩 간의 상호 정보(mutual information)를 극대화하는 반면, StructXLIP는 다중 모달 구조적 표현 간의 상호 정보를 추가로 극대화한다. 이러한 보조적인 최적화는 본질적으로 더 까다로우며, 모델을 더 견고하고 의미론적으로 안정적인 최솟값(minima)으로 유도하여 비전-언어 정렬을 향상시킨다. 우리의 방법은 일반 및 특화 도메인 모두의 교차 모달 검색에서 기존 경쟁 모델들을 능가할 뿐만 아니라, 플러그 앤 플레이(plug-and-play) 방식으로 향후 연구에 통합될 수 있는 범용적인 성능 향상(boosting) 기법의 역할을 수행한다. 코드 및 사전 학습된 모델은 https://github.com/intelligolabs/StructXLIP 에서 공개적으로 확인할 수 있다.

Edge-based representations are fundamental cues for visual understanding, a principle rooted in early vision research and still central today. We extend this principle to vision-language alignment, showing that isolating and aligning structural cues across modalities can greatly benefit fine-tuning on long, detail-rich captions, with a specific focus on improving cross-modal retrieval. We introduce StructXLIP, a fine-tuning alignment paradigm that extracts edge maps (e.g., Canny), treating them as proxies for the visual structure of an image, and filters the corresponding captions to emphasize structural cues, making them "structure-centric". Fine-tuning augments the standard alignment loss with three structure-centric losses: (i) aligning edge maps with structural text, (ii) matching local edge regions to textual chunks, and (iii) connecting edge maps to color images to prevent representation drift. From a theoretical standpoint, while standard CLIP maximizes the mutual information between visual and textual embeddings, StructXLIP additionally maximizes the mutual information between multimodal structural representations. This auxiliary optimization is intrinsically harder, guiding the model toward more robust and semantically stable minima, enhancing vision-language alignment. Beyond outperforming current competitors on cross-modal retrieval in both general and specialized domains, our method serves as a general boosting recipe that can be integrated into future approaches in a plug-and-play manner. Code and pretrained models are publicly available at: https://github.com/intelligolabs/StructXLIP.