TORINO: 시각-언어 모델에서 해석 가능한 개념 중첩을 통한 토큰 감소

TORINO: Token Reduction via Interpretable Concept Overlap in Vision-Language Models

시각-언어 모델(VLMs)은 다양한 작업에서 뛰어난 성능을 보여주지만, 언어 모델에 입력되는 많은 수의 시각적 토큰으로 인해 계산 비용이 크게 증가합니다. 기존의 토큰 감소 방법들은 어텐션 기반 점수나 쌍별 유사성을 사용하지만, 각 토큰의 명시적인 의미론적 표현은 고려하지 않습니다. 본 논문에서는 TORINO(TOken Reduction via Interpretable coNcept Overlap)라는 플러그 앤 플레이 프레임워크를 소개합니다. 이는 VLM에서 어댑티브한 시각적 토큰 감소를 위한 방법으로, 기반 모델의 추가적인 파인튜닝 없이 적용 가능합니다. TORINO는 희소 오토인코더(SAEs)를 사용하여 시각적 토큰을 해석 가능한 잠재 공간으로 투영하고, 토큰 간의 관계를 공유된 개념 활성화를 통해 분석합니다. 구체적으로, 우리는 개념 중첩을 활성화된 SAE 잠재 벡터 간의 일치 정도라고 정의하고, 이를 이용하여 의미론적으로 유사한 내용을 가진 토큰들을 그룹화합니다. 각 그룹 내에서 가지치기 또는 병합을 수행하여, 의미적으로 중요한 시각 정보를 보존하면서 불필요한 부분을 제거하는 통합 프레임워크를 제공합니다. TORINO는 고정된 예산 방식과 달리 입력 복잡성에 따라 감소율을 동적으로 조정하므로, 서로 다른 이미지가 다양한 수의 토큰을 유지할 수 있습니다. 여러 시각-언어 벤치마크에서 수행한 실험 결과, TORINO는 효율성과 정확성 간의 균형을 잘 이루며, 성능 저하를 최소화하면서 시각적 토큰 수를 줄이는 데 효과적임을 확인했습니다.

Vision-Language Models (VLMs) have demonstrated impressive capabilities across different tasks, but their computational cost is dominated by the large number of visual tokens fed to the language model. Existing token reduction methods rely on attention-based scores or pairwise similarity, without an explicit semantic representation of each token. We introduce TORINO (TOken Reduction via Interpretable coNcept Overlap), a plug-and-play framework for adaptive visual token reduction in VLMs that requires no fine-tuning of the underlying model. TORINO leverages Sparse Autoencoders (SAEs) to project visual tokens into an interpretable latent space where token relationships can be analyzed through shared concept activations. Specifically, we define concept overlap as the degree of agreement between active SAE latents and use it to group tokens that share semantic content. Reduction within each group is then performed by either pruning or merging, providing a unified framework that preserves semantically important visual information while removing redundancy. Unlike fixed-budget approaches, TORINO dynamically adapts the reduction rate to input complexity, allowing different images to retain different numbers of tokens. Experiments across multiple vision-language benchmarks show that TORINO achieves favorable efficiency-accuracy trade-offs, reducing the number of visual tokens with minimal performance loss.