모든 중복 토큰이 같은 것은 아니다: 토큰 역할을 통한 시각적 토큰 가지치기 분석

Not All Redundant Tokens Are Alike: Analyzing Visual Token Pruning through Token Roles

비전-언어 모델(VLMs)은 이미지를 일련의 시각적 토큰으로 처리하며, 이는 추론 과정에서 상당한 계산 병목 현상을 야기합니다. 최근의 시각적 토큰 가지치기 방법들은 겉보기에 중복되는 토큰을 제거하여 이 문제를 해결하려고 하지만, 이러한 가지치기 결정이 시각적 토큰의 기능적 역할과 어떻게 관련되는지는 여전히 불분명합니다. 본 연구에서는 EmbedLens에서 식별된 토큰 역할을 기준으로 시각적 토큰 가지치기를 분석합니다. 먼저, 대표적인 가지치기 방법들이 서로 다른 토큰-역할 편향을 보이지만, 이러한 편향이 반드시 다운스트림 성능과 직접적으로 상관관계를 갖는 것은 아님을 보여줍니다. 이 현상을 더 잘 이해하기 위해, 우리는 토큰-역할 할당 절차를 개선하고 역할 보호 가지치기 변형을 평가합니다. 우리의 결과는 때때로 생존하지 못한 토큰을 보존하면 성능을 유지하거나 향상시킬 수 있다는 것을 보여주며, 이는 직접적인 의미적 정렬이 약한 토큰이라도 가지치기 시 모델의 동작에 영향을 미칠 수 있음을 시사합니다. 저희 코드는 https://github.com/jaykim9870/Not_All_Redundant_Tokens_Are_Alike 에서 공개적으로 이용 가능합니다.

Vision-language models (VLMs) process an image as a sequence of visual tokens, which creates a substantial computational bottleneck during inference. Recent visual token pruning methods address this issue by removing seemingly redundant tokens, yet it remains unclear how these pruning decisions relate to the functional roles of visual tokens. In this work, we analyze visual token pruning through the lens of token roles identified by EmbedLens. We first show that representative pruning methods exhibit distinct token-role biases, but these biases do not directly correlate with downstream performance. To better understand this behavior, we refine the token-role assignment procedure and evaluate role-protected pruning variants. Our results show that preserving non-alive tokens can sometimes maintain or improve performance, suggesting that tokens with weak direct semantic alignment may still affect model behavior under pruning. Our code is publicly available at https://github.com/jaykim9870/Not_All_Redundant_Tokens_Are_Alike.