사전 학습된 시각-언어 모델을 이용한 사후 이상 데이터 탐지에서 모달리티 간 격차를 고려

Respecting Modality Gap in Post-hoc Out-of-distribution Detection with Pre-trained Vision-Language Models

이상 데이터(Out-of-distribution, OOD) 탐지는 머신러닝 모델의 신뢰성을 향상시키는 인기 있는 기술로, 알려지지 않은 클래스에 속하는 예상치 못한 입력 데이터를 식별합니다. 최근 사전 학습된 시각-언어 모델(Vision-Language Models, VLMs)의 발전으로 인해, in-distribution (ID) 훈련 데이터 없이도 제로샷 OOD 탐지가 가능해졌습니다. 이러한 환경에서 기존 방법들은 일반적으로 클래스 이름의 텍스트 임베딩을 클래스 프로토타입으로 사용합니다. 본 논문에서는 널리 채택되는 '텍스트를 프로토타입으로 사용하는' 패러다임을 비판적으로 검토하며, 이론적으로 분석한 결과, 일반적인 텍스트 기반 프로토타입은 최적의 시각적 프로토타입과 일치하지 않아 모달리티 간의 격차가 발생하며, 프롬프트 엔지니어링만으로는 이러한 격차를 해소할 수 없음을 보여줍니다. 본 논문에서는 사후 처리(post-hoc) 제약 조건 하에서 이 격차를 완화하기 위해, 사전 학습된 VLM으로부터 얻은 소프트 예측과 함께 레이블이 없는 테스트 데이터 스트림을 사용하여 시각적 특징 공간에서 클래스 프로토타입을 직접적으로 학습하는 온라인 준지도 학습 프레임워크를 제시합니다. 또한, 제안하는 온라인 최적화 절차의 수렴에 대한 이론적 보장을 제공합니다. 광범위한 실험 결과는 우리의 방법이 다양한 OOD 탐지 환경에서 새로운 최고 성능을 달성함을 실증적으로 보여줍니다.

Out-of-distribution (OOD) detection has emerged as a popular technique to enhance the reliability of machine learning models by identifying unexpected inputs from unknown classes. Recent progress in pre-trained vision-language models (VLMs) has enabled zero-shot OOD detection without access to in-distribution (ID) training data; in this setting, existing methods commonly treat text embeddings of class names as class prototypes. In this paper, we challenge the widely adopted text-as-prototype paradigm by theoretically showing that off-the-shelf textual prototypes are generally misaligned with the optimal visual prototypes, yielding an intrinsic modality gap that cannot be eliminated by prompt engineering alone. To mitigate this gap under the post-hoc constraint, this paper presents an online pseudo-supervised framework that directly learns class prototypes in the visual feature space using unlabeled test-time data streams and soft predictions from the pre-trained VLMs. We provide theoretical guarantees for the convergence of the online optimization procedure. Extensive experiments empirically demonstrate that our method achieves a new state of the art across a variety of OOD detection setups.