시각 토큰 압축 하에서의 대규모 시각-언어 모델의 적대적 강건성 연구

On the Adversarial Robustness of Large Vision-Language Models under Visual Token Compression

시각 토큰 압축은 시각-언어 모델(LVLM)의 속도를 향상시키기 위해 시각 토큰을 제거하거나 병합하는 데 널리 사용되지만, 이 기술의 적대적 강건성은 아직 연구되지 않았습니다. 본 연구에서는 기존의 인코더 기반 공격이 압축된 LVLM의 강건성을 과대평가할 수 있음을 보여줍니다. 이는 최적화와 추론 간의 불일치 때문입니다. 즉, 공격은 전체 토큰 표현에 대한 최적화를 수행하는 반면, 추론은 토큰 압축 병목 현상을 통해 이루어집니다. 이러한 격차를 해결하기 위해, 우리는 배포된 압축 메커니즘이나 토큰 예산에 대한 접근 권한을 가정하지 않고, 최적화된 섭동을 압축 추론과 일치시키는 Compression-AliGnEd (CAGE) 공격을 제안합니다. CAGE는 (i) 예상되는 특징 파괴 (특정 예산 범위 내에서 생존할 가능성이 높은 토큰에 왜곡을 집중)와 (ii) 순위 왜곡 정렬 (토큰 왜곡을 순위 점수와 적극적으로 일치시켜 왜곡이 큰 증거를 유지하도록 유도)을 결합합니다. 다양한 대표적인 플러그 앤 플레이 압축 메커니즘과 데이터 세트에 대한 실험 결과, CAGE는 항상 기준 성능보다 낮은 강건성 정확도를 달성하는 것으로 나타났습니다. 본 연구는 압축을 고려하지 않은 강건성 평가는 지나치게 낙관적일 수 있으며, 효율적인 LVLM을 위한 압축 인지 보안 평가 및 방어 기술의 필요성을 강조합니다.

Visual token compression is widely used to accelerate large vision-language models (LVLMs) by pruning or merging visual tokens, yet its adversarial robustness remains unexplored. We show that existing encoder-based attacks can substantially overestimate the robustness of compressed LVLMs, due to an optimization-inference mismatch: perturbations are optimized on the full-token representation, while inference is performed through a token-compression bottleneck. To address this gap, we propose the Compression-AliGnEd attack (CAGE), which aligns perturbation optimization with compression inference without assuming access to the deployed compression mechanism or its token budget. CAGE combines (i) expected feature disruption, which concentrates distortion on tokens likely to survive across plausible budgets, and (ii) rank distortion alignment, which actively aligns token distortions with rank scores to promote the retention of highly distorted evidence. Across diverse representative plug-and-play compression mechanisms and datasets, our results show that CAGE consistently achieves lower robust accuracy than the baseline. This work highlights that robustness assessments ignoring compression can be overly optimistic, calling for compression-aware security evaluation and defenses for efficient LVLMs.