계층적 의미론을 활용한 비전 기반 모델 적응

Adapting Vision Foundation Models with Cascaded Semantics

최근 자연어 처리 분야에서 두드러진 효율적인 파라미터 조정 방법인 프롬프트 튜닝이 컴퓨터 비전으로 확장되었습니다. 시각 프롬프트 튜닝(VPT)은 사전 학습된 비전 트랜스포머(ViT)를 업데이트하여 적응시키며, 이때 소수의 추가 프롬프트 파라미터만 변경합니다. 하지만 기존의 시각 프롬프트는 임의로 초기화되며, 자연어 처리에서 사용되는 지침과 같은 사전 지식을 활용하지 못합니다. 본 연구에서는 VPT에 두 가지 상호 보완적인 의미론적 정보를 주입하여 이러한 문제를 해결합니다. 색상, 질감 및 형태와 같은 기본적인 이미지 정보는 기존의 수동으로 설계된 연산자를 사용하여 추출하고 입력 공간에 주입합니다. 또한, 자기-주의 맵(self-attention maps)을 통해 특징 공간에서 인스턴스 기반의 의미론 정보를 활용합니다. 더욱이, ViT 적응 과정 전반에 걸쳐 두 가지 정보를 통합하는 계층적 방식을 제안합니다. 34개의 어려운 이미지 분류 데이터셋에 대한 실험 결과는 ViT 파라미터의 0.74%만 조정하여도 우수한 성능을 보이는 것을 보여줍니다. 프로젝트 페이지: https://xixiaouab.github.io/Cascaded-Semantics/.

Prompt tuning, a leading parameter-efficient adaptation paradigm in NLP, has recently been extended to computer vision. Visual prompt tuning (VPT) adapts pre-trained vision transformers (ViTs) by updating a small set of additional prompt parameters. However, existing visual prompts are randomly initialized and do not exploit prior knowledge, such as instructions in NLP. We address this gap by injecting two complementary semantic priors into VPT. Fundamental image priors, including color, texture, and shape, are extracted with classical hand-crafted operators and injected into the input space, while self-attention maps provide instance-aware semantics in the feature space. We further propose a cascaded scheme that integrates both priors throughout ViT adaptation. Experiments on 34 challenging image classification datasets demonstrate superior downstream adaptation while tuning only 0.74% of ViT parameters. Project page: https://xixiaouab.github.io/Cascaded-Semantics/.