대리 모델 특정 편향 보정을 통한 비전-언어 사전 학습 모델의 적대적 전이성 향상

Improving Adversarial Transferability on Vision-Language Pre-training Models via Surrogate-Specific Bias Correction

적대적 예제는 비전-언어 사전 학습(VLP) 모델의 취약점을 드러내고, 견고성을 향상시키는 데 대한 통찰력을 제공합니다. 중요한 특징 중 하나는 교차 모델 전이성으로, 이를 통해 전이 기반 블랙박스 공격이 가능합니다. 그러나 기존 공격은 종종 대리 모델에 크게 의존하여, 교차 모델 성능 저하를 초래합니다. 그 이유는 적대적 최적화가 입력의 의미론보다는 대리 모델의 응답을 더 많이 따르기 때문이며, 이로 인해 업데이트 방향은 대리에 효과적이지만 아직 보지 못한 대상에는 잘 전이되지 않습니다. 우리는 이러한 의존성을 '대리 모델 특정 편향'이라고 부릅니다. 이러한 관찰에 따라 DeBias-Attack은 적대적 최적화 방향에서 대리 모델 특정 편향을 수정하여 전이성을 향상시킵니다. 이 방법은 두 개의 섭동 브랜치를 유지합니다. 주 브랜치는 원래 이미지에 대한 섭동을 최적화하고, 이미지-텍스트 정렬을 방해하는 데 사용되는 적대적 그래디언트를 얻습니다. 참조 브랜치는 데이터셋 평균 이미지를 기반으로 제작된 약한 의미론의 이미지(각 반복마다 작은 가우시안 노이즈를 샘플링)에 대한 섭동을 최적화합니다. 이 약한 의미론의 이미지는 명확한 시각적 내용을 거의 포함하지 않으므로, 그 최적화는 이미지 의미론보다 대리 모델의 응답을 더 잘 반영하며, 참조 그래디언트는 대리 모델 특정 편향을 추정합니다. DeBias-Attack은 적대적 이미지 업데이트 전에 주 그래디언트와 참조 그래디언트 사이의 정렬된 투영을 제거한 다음, 업데이트된 적대적 이미지를 사용하여 문맥 인지 텍스트 대체(context-aware text substitution)를 수행합니다. DeBias-Attack은 그래디언트 수정을 통해 대리 모델 특정 편향을 수정하는 최초의 전이 기반 VLP 공격입니다. 실험 결과는 다양한 VLP 모델, 다운스트림 작업 및 오픈 소스/폐쇄 소스 멀티모달 대규모 언어 모델에서 강력한 성능을 보여줍니다.

Adversarial examples reveal vulnerabilities in Vision-Language Pre-training (VLP) models and provide insights for improving robustness. A key property is cross-model transferability, which enables transfer-based black-box attacks. However, existing attacks often rely heavily on the surrogate model, causing cross-model performance drops. One reason is that adversarial optimization may follow surrogate model responses more than input semantics, making the update direction effective on the surrogate but less transferable to unseen targets. We refer to this dependency as surrogate-specific bias. Motivated by this observation, DeBias-Attack improves transferability by correcting surrogate-specific bias in adversarial optimization directions. It maintains two perturbation branches. The main branch optimizes a perturbation on the original image and obtains the adversarial gradient used to disrupt image-text alignment. The reference branch optimizes a perturbation on a weak-semantic image constructed from the dataset mean image with small Gaussian noise resampled at each iteration. Since this weak-semantic image contains little clear visual content, its optimization reflects surrogate responses more than image semantics, and its reference gradient estimates surrogate-specific bias. DeBias-Attack removes the aligned projection of the main gradient on the reference gradient before updating the adversarial image, then performs context-aware text substitution using the updated adversarial image. DeBias-Attack is the first transfer-based VLP attack that corrects surrogate-specific bias through gradient correction. Experiments show strong performance across VLP models, downstream tasks, and open-source and closed-source multimodal large language models.