더 적을수록 더 좋다... 하지만 한계가 있다: 대규모 비전-언어 모델에서 비전 토큰 압축의 보안 취약점

Less Is More -- Until It Breaks: Security Pitfalls of Vision Token Compression in Large Vision-Language Models

비전 토큰 압축은 대규모 비전-언어 모델(LVLM)의 추론 효율성을 향상시키는 데 널리 사용되며, 지연 시간 민감하고 자원 제약적인 환경에서의 배포를 가능하게 합니다. 그러나 기존 연구는 주로 효율성과 성능에 초점을 맞추고 있으며, 비전 토큰 압축의 보안적 함의는 아직 충분히 연구되지 않았습니다. 본 연구에서는 비전 토큰 압축이 LVLM의 견고성을 현저히 저하시킨다는 것을 밝혀냈습니다. 압축되지 않은 상태에서는 견고한 모델이 압축이 활성화되면 매우 취약해지는 경향이 있습니다. 이러한 취약점은 상태에 따라 나타나며, 압축 환경에서만 특정 오류가 발생하고 압축을 비활성화하면 완전히 사라지므로, 특히 은밀하고 진단하기 어렵습니다. 압축 과정의 주요 단계를 분석한 결과, 토큰 중요도 순위의 불안정성이 견고성 저하의 주된 원인임을 확인했습니다. 미세하고 감지하기 어려운 변화가 토큰 순위를 크게 변경시켜, 압축 메커니즘이 중요한 정보를 오판하여 제거하고 결국 모델 오류를 유발할 수 있습니다. 이러한 관찰에 따라, 우리는 이 취약점을 체계적으로 연구하고 악용하기 위해 Compression-Aware Attack (CAA)을 제안합니다. CAA는 토큰 선택 메커니즘을 직접적으로 공격하여 압축된 추론 환경에서만 오류를 유발합니다. 우리는 이 접근 방식을 보다 현실적인 블랙박스 환경으로 확장하고, 대상 모델이나 압축 구성이 접근 불가능한 Transfer CAA를 소개합니다. 또한, 잠재적인 방어 기법을 평가한 결과, 제한적인 보호 효과만을 제공한다는 것을 확인했습니다. 다양한 모델, 데이터셋, 압축 방법을 사용한 광범위한 실험 결과, 비전 토큰 압축은 견고성을 현저히 저하시키며, 이전에 간과되었던 효율성-보안 간의 균형 문제를 드러냅니다.

Visual token compression is widely adopted to improve the inference efficiency of Large Vision-Language Models (LVLMs), enabling their deployment in latency-sensitive and resource-constrained scenarios. However, existing work has mainly focused on efficiency and performance, while the security implications of visual token compression remain largely unexplored. In this work, we first reveal that visual token compression substantially degrades the robustness of LVLMs: models that are robust under uncompressed inference become highly vulnerable once compression is enabled. These vulnerabilities are state-specific; failure modes emerge only in the compressed setting and completely disappear when compression is disabled, making them particularly hidden and difficult to diagnose. By analyzing the key stages of the compression process, we identify instability in token importance ranking as the primary cause of this robustness degradation. Small and imperceptible perturbations can significantly alter token rankings, leading the compression mechanism to mistakenly discard task-critical information and ultimately causing model failure. Motivated by this observation, we propose a Compression-Aware Attack to systematically study and exploit this vulnerability. CAA directly targets the token selection mechanism and induces failures exclusively under compressed inference. We further extend this approach to more realistic black-box settings and introduce Transfer CAA, where neither the target model nor the compression configuration is accessible. We further evaluate potential defenses and find that they provide only limited protection. Extensive experiments across models, datasets, and compression methods show that visual token compression significantly undermines robustness, revealing a previously overlooked efficiency-security trade-off.