Grad-ECLIP: CLIP 모델의 시각적 및 텍스트 기반 그래디언트 설명 방법

Grad-ECLIP: Gradient-based Visual and Textual Explanations for CLIP

대조적인 언어-이미지 사전 학습(CLIP) 비전-언어 모델의 개선 및 활용 분야에서 상당한 진전이 이루어졌지만, CLIP 자체에 대한 해석은 상대적으로 덜 주목받고 있습니다. 본 연구에서는 특정 입력 이미지-텍스트 쌍에 대한 CLIP의 매칭 결과를 해석하는 그래디언트 기반의 시각적 및 텍스트 설명 방법인 Grad-ECLIP을 제안합니다. Grad-ECLIP은 인코더 아키텍처를 분해하고, 매칭 유사성과 중간 공간 특징 간의 관계를 파악하여 효과적인 히트맵을 생성함으로써 이미지 영역 또는 단어가 CLIP 결과에 미치는 영향을 시각적으로 보여줍니다. 기존의 트랜스포머 해석 방법이 주로 매우 희소한 자체 주의(self-attention) 맵을 활용하는 반면, Grad-ECLIP은 토큰 특징에 채널 및 공간 가중치를 적용하여 고품질의 시각적 설명을 제공합니다. 질적 및 양적 평가를 통해 Grad-ECLIP이 최첨단 방법보다 효과적이고 우수하다는 것을 확인했습니다. 또한, 생성된 시각적 및 텍스트 설명 결과를 바탕으로 이미지-텍스트 매칭의 작동 메커니즘, CLIP의 기여도 식별 능력의 강점과 한계, 그리고 단어의 구체성/추상성이 CLIP에서의 활용에 미치는 영향 등을 분석했습니다. 마지막으로, 입력 이미지의 텍스트 특정 중요 영역을 나타내는 설명 맵의 기능을 활용하여, CLIP 미세 조정 과정에서 세밀한 정렬을 향상시키는 Grad-ECLIP의 응용 방법을 제안합니다. Grad-ECLIP의 코드는 다음 링크에서 확인할 수 있습니다: https://github.com/Cyang-Zhao/Grad-Eclip.

Significant progress has been achieved on the improvement and downstream usages of the Contrastive Language-Image Pre-training (CLIP) vision-language model, while less attention is paid to the interpretation of CLIP. We propose a Gradient-based visual and textual Explanation method for CLIP (Grad-ECLIP), which interprets the matching result of CLIP for specific input image-text pair. By decomposing the architecture of the encoder and discovering the relationship between the matching similarity and intermediate spatial features, Grad-ECLIP produces effective heat maps that show the influence of image regions or words on the CLIP results. Different from the previous Transformer interpretation methods that focus on the utilization of self-attention maps, which are typically extremely sparse in CLIP, we produce high-quality visual explanations by applying channel and spatial weights on token features. Qualitative and quantitative evaluations verify the effectiveness and superiority of Grad-ECLIP compared with the state-of-the-art methods. Furthermore, a series of analysis are conducted based on our visual and textual explanation results, from which we explore the working mechanism of image-text matching, the strengths and limitations in attribution identification of CLIP, and the relationship between the concreteness/abstractness of a word and its usage in CLIP. Finally, based on the ability of explanation map that indicates text-specific saliency region of input image, we also propose an application with Grad-ECLIP, which is adopted to boost the fine-grained alignment in the CLIP fine-tuning. The code of Grad-ECLIP is available here: https://github.com/Cyang-Zhao/Grad-Eclip.