속성은 클래스 이름이 아닌 이미지에서 가져와야 합니다: 비전-언어 모델을 위한 분포 조건부 속성 선택

Attributes Should Come from Images, Not Class Names: Distribution-Conditioned Attribute Selection for Vision-Language Models

해석 가능한 제로샷 분류의 일반적인 방법은 대규모 언어 모델(LLM)이 각 클래스 이름을 설명하고, 그 결과 설명을 CLIP에 프롬프트로 제공하는 것입니다. 우리는 이러한 설명들이 자체적으로 거의 시각적 증거를 담고 있지 않다는 것을 보여줍니다. 프롬프트에서 클래스 이름을 제거하면 ImageNet의 정확도가 59.5%에서 15.5%로 급격히 감소합니다. 문제는 이러한 설명이 이미지 대신 레이블에 조건화되어 있기 때문에, 일반적인 개념을 설명하며 데이터가 변경될 때 오해를 불러일으킨다는 것입니다. 예를 들어, LLM은 딸기가 빨갛다고 주장하지만, ImageNet-Sketch에 있는 모든 딸기는 색이 없는 선 그림입니다. 따라서 우리는 대상 이미지 컬렉션에서 속성을 선택합니다. CLIP의 공동 임베딩 공간에서 대규모 속성 풀을 평가하여 각 클래스별로 가장 높은 점수를 받은 속성을 선택합니다. 이렇게 선택된 속성은 클래스 이름을 사용하지 않는 프롬프트 방식으로 ImageNet에서 23.8%의 정확도를 달성합니다 (LLM 설명의 경우 15.5%). 이러한 성능 향상은 네 가지 변형된 ImageNet 데이터셋에서도 유지되며, LLM 자체의 속성 풀에서 다시 선택하는 실험을 통해 선택 메커니즘이 원인임을 확인했습니다. 클래스당 하나의 이미지를 사용하여 선택된 속성은 프롬프트 튜닝 방법인 CoOp보다 3점이 더 높으며, 학습된 소프트 프롬프트를 사용하지 않아 의사 결정 과정을 명확하게 보여줍니다 (CoOp은 14시간이 소요되지만 이 방법은 1분 내외로 완료). 데이터에 의해 선택된 속성 집합은 데이터셋의 가독 가능한 요약 역할을 하며, 이를 사용하여 데이터 분포의 변화를 설명합니다.

A popular route to interpretable zero-shot classification asks a large language model (LLM) to describe each class name and prompts CLIP with the resulting descriptors. We show that these descriptors carry little visual evidence of their own: removing the class name from the prompt collapses ImageNet accuracy from 59.5% to 15.5%. The diagnosis is that the descriptors are conditioned on the label rather than on the images, so they describe the concept in general and mislead exactly when the data shifts; an LLM insists that strawberries are red, but every strawberry in ImageNet-Sketch is a colorless line drawing. We therefore select attributes from the target image collection instead: we score a large attribute pool against the images in CLIP's joint embedding space and keep the top-scoring attributes per class. Selected this way, class-name-free attribute prompts reach 23.8% on ImageNet (against 15.5% for LLM descriptors), the gain holds on four shifted ImageNet variants, and reselecting from the LLM's own pool isolates the selection mechanism as the cause. With one image per class, the selected attributes outperform the prompt-tuning method CoOp by 3 points while fitting in under a minute instead of 14 hours, with no learned soft prompt to obscure the decision. Because the attribute set is chosen by the data, it doubles as a readable summary of a dataset, which we use to describe distribution shift in words. Our code and results are available on our project page: https://ggare-cmu.github.io/AttributeSelect/