비전이 텍스트가 될 때: VLMs에서 교차 모달 잔류 지침을 통한 시각 토큰 가지치기

When Vision Becomes Text: Visual Token Pruning via Cross-Modal Residual Guidance in VLMs

풍부한 시각 정보는 비전-언어 모델(VLM)의 성능을 향상시키지만, 과도한 양의 시각 토큰은 추론 비용 증가를 초래합니다. 기존의 시각 토큰 가지치기 방법은 유사성 기반 지침에 의존하며, 이를 통해 텍스트-비전 및 비전-비전 토큰 간의 상관관계를 활용하여 압축을 수행합니다. 그러나 이러한 방법은 로컬 레이어 수준의 신호만 고려하고 VLM 전체 추론 과정은 간과합니다. 본 논문에서는 VLM 추론 과정을 재검토하고, 유사성 기반 지침을 보완하는 새로운 효율적인 지침 방식을 제시합니다. 특히, LLM 레이어가 깊어질수록 텍스트 토큰이 자기-주의(self-attention)를 통해 지속적으로 시각 정보를 통합하고 점진적으로 일부 시각 콘텐츠를 텍스트 표현에 흡수한다는 중요한 사실을 발견했습니다. 이 현상을 정량화하기 위해, 기하학적 관점에서 교차 모달 흡수(CMA)라는 개념을 제안하여 텍스트가 얼마나 많은 시각 정보를 흡수하는지 측정합니다. 이를 통해 더 깊은 레이어에서 사용되는 많은 시각 토큰이 텍스트 서브스페이스로 근사될 수 있음을 밝혀냈습니다. 이에 따라, 교차 모달 잔류(CMR)를 제안합니다. CMR은 티코노프 정규화된 최소 제곱법을 사용하여 시각 토큰을 텍스트 서브스페이스에 투영하고, 재구성 잔류량을 활용하여 텍스트로 설명할 수 없는 시각 정보를 측정합니다. 마지막으로, CMR을 기반으로, 학습이 필요 없는 시각 토큰 압축 방법인 SIEVE를 제시합니다. SIEVE는 CMR, 텍스트-주의 관련성, 그리고 잔류 공간의 다양성을 결합하여 작업에 관련된 중요한 토큰과 상호 보완적인 토큰을 유지합니다. 다양한 VLM 아키텍처에서의 실험 결과는 SIEVE의 효과를 입증합니다. 예를 들어, LLaVA-NeXT-7B에서 SIEVE는 전체 시각 토큰의 11.1%만 유지하면서 원래 성능의 97.5%를 보존하고, 사전 채우기 속도를 3.62배, 전체 엔드 투 엔드 속도를 2.49배 향상시키며, KV-캐시 크기를 6.02배 감소시켰습니다.

Abundant visual information strengthens vision-language model (VLM) perception, yet massive visual tokens raise inference costs. Existing visual token pruning methods rely on similarity-based guidance, which exploits pairwise text-vision and vision-vision token correlations for compression. However, such methods only capture local layer-level signals and overlook the whole inference process in VLM. In this paper, we revisit VLM inference and present a new efficient guidance scheme that complements similarity-based guidance. In particular, we identify a key observation: as LLM layers deepen, text tokens continuously aggregate visual information via self-attention and progressively absorb partial visual content into textual representations. To quantify this phenomenon, we propose Cross Modal Absorption (CMA) from a geometric representation perspective to measure how much visual information is absorbed by text, revealing that more visual tokens in deeper layers can be approximately explained by the text subspace. We accordingly propose Cross Modal Residual (CMR). It projects visual tokens onto the text subspace via Tikhonov regularized least squares and exploits reconstruction residuals to quantify visual information that cannot be explained by text. Finally, based on CMR, we present SIEVE, a training-free visual token compression method that combines CMR, text-attention relevance, and residual-space diversity to retain task-relevant and complementary tokens. Experiments on diverse VLM architectures verify the effectiveness of SIEVE. For instance, on LLaVA-NeXT-7B, SIEVE keeps only $11.1\%$ of visual tokens while preserving $97.5\%$ of the original average performance, achieving $3.62\times$ prefill speedup, $2.49\times$ end-to-end speedup, and a $6.02\times$ KV-cache reduction.