대규모 시각 언어 모델의 견고성 향상을 위한 이중 적대적 미세 조정

Dual Adversarial Fine-tuning for Enhancing Robustness of Large Vision Language Model

LLaVA 및 GPT-4V와 같은 대규모 시각-언어 모델(LVLM)은 놀라운 능력을 보여주지만, 입력 이미지 데이터는 여전히 적대적인 공격에 취약하여 심각한 보안 위험을 초래합니다. 기존의 방어 방법은 주로 단일 작업 환경(예: 제로샷 분류)을 대상으로 하므로 다양한 멀티모달 작업에서의 일반화 성능이 부족합니다. 이러한 제한점을 해결하기 위해, 우리는 시각 및 의미적 감독 신호를 두 가지 모드에서 동시에 최적화하여 모델의 견고성을 향상시키면서 여러 downstream 작업에 대한 일반화를 가능하게 하는 이중 적대적 미세 조정 프레임워크를 제안합니다. 제안된 프레임워크는 핵심 구성 요소인 $ extbf{시각}$ 감독 분기 및 $ extbf{의미}적$ 감독 분기로 구성됩니다. 전자는 원본 시각 인코더에서 추출한 깨끗한 이미지의 특징을 활용하여 적대적인 공격에 대한 견고성을 향상시키고, 후자는 캡션-이미지 정렬을 문맥 신호로 활용하여 공격 하에서도 의미적 일관성을 유지합니다. 또한, 우리의 방법은 원본 모델 내의 CLIP 시각 인코더를 단순히 교체함으로써, 별도의 작업별 재학습 또는 아키텍처 수정 없이 cross-task 견고성을 달성합니다. 광범위한 실험 결과는 제안하는 접근 방식이 제로샷 분류, 이미지 캡셔닝 및 시각 질의 응답(VQA) 작업에서 적대적인 공격에 대한 견고성 평가에서 최첨단 방법보다 우수한 성능을 보인다는 것을 보여줍니다.

While Large Vision-Language Models (LVLMs), represented by LLaVA and GPT-4V, have demonstrated remarkable capabilities, their visual inputs remain vulnerable to adversarial attacks, posing significant security risks. Existing defense methods predominantly target single-task scenarios (e.g., zero-shot classification) and consequently lack generalizability across various multimodal tasks. To address this limitation, we propose a dual adversarial fine-tuning framework that jointly optimizes visual and semantic supervision signals from two modalities, enhancing model robustness while generalizing across multiple downstream tasks. The proposed framework comprises two core components, i.e., $\textbf{Visual}$ supervision branch and $\textbf{Semantic}$ supervision branch. The former branch leverages features from clean images, extracted via a frozen original vision encoder, to guide adversarial robustness while the latter incorporates caption-image alignment as a contextual signal to preserve semantic coherence under attack. Moreover, our method achieves cross-task robustness by simply replacing the CLIP vision encoder in the original model, with no need of separate task-specific retraining or architecture modifications.Extensive experiments demonstrate that our approach outperforms the state-of-the-art method in adversarial robustness evaluation across zero-shot classification, image captioning, and visual question answering (VQA) tasks.