비디오-언어 모델의 효율적인 추론을 위한 적응형 이중 단계 시각적 토큰 가지치기

Adaptive Two-Stage Visual Token Pruning for Efficient Inference in Video-Language Models

영상-언어 모델은 이미지 및 비디오 이해에 뛰어나지만, 이미지당 수천 개의 토큰을 처리해야 하므로 추론 지연 시간이 길어 리소스가 제한된 엣지 장치나 실시간 감시 애플리케이션에 적용하기 어렵습니다. 이러한 문제는 비디오 처리에 더욱 심화되는데, 여러 프레임을 동시에 분석해야 하기 때문입니다. 기존의 토큰 감소 기술은 주로 단일 이미지 입력에 맞춰 개발되어 왔기 때문에, 비디오 시퀀스에 존재하는 시간적 및 프레임 간 중복성을 고려하지 못합니다. 또한, 이러한 방법들은 일반적으로 모든 입력에 대해 고정된 균일한 가지치기 비율을 적용하는데, 이는 최적이 아니며 비디오마다 중복성의 정도가 크게 달라질 수 있기 때문에 콘텐츠에 따라 다른 가지치기 수준이 필요합니다. 이러한 제한 사항을 해결하기 위해, 우리는 특히 비디오 처리를 위해 설계된 이중 단계의 적응형 토큰 가지치기 전략을 제안합니다. 첫 번째 단계에서는 불필요한 프레임을 제거하고, 두 번째 단계에서는 유지된 프레임 내에서 토큰 수준의 가지치기를 적용합니다. 중요한 점은 두 번째 단계의 가지치기 비율이 각 비디오의 콘텐츠에 따라 적응적으로 결정된다는 것입니다. 이는 토큰 임베딩의 상관 관계 구조를 분석하여 중복성을 정량화하고, 이를 사용하여 해당 비율을 결정함으로써 달성됩니다. 또한, 우리의 방법은 완전히 후처리 방식으로 구현되어 추가적인 학습이나 미세 조정이 필요 없으며, 강력한 실증적 효과를 거둡니다. 특히, 10%의 토큰 유지율에서 비디오 캡션 성능을 7% 향상시키면서 계산량을 95% 줄입니다.

Vision-language models excel at image and video understanding but suffer from high inference latency due to the need to process thousands of tokens per image, limiting their deployment on resource-constrained edge devices and in real-time surveillance applications. This challenge is further amplified in video processing, where multiple frames must be analyzed simultaneously. Existing token reduction techniques are largely developed for single-image inputs and therefore fail to account for the temporal and inter-frame redundancies present in video sequences. In addition, these methods generally rely on a fixed, uniform pruning ratio applied across all inputs, which is suboptimal because the degree of redundancy can vary significantly between different videos, necessitating content-dependent pruning levels to preserve critical information. To address these limitations, we propose a two-stage adaptive token pruning strategy specifically designed for video processing. In the first stage, we prune out the redundant frames, and in the second stage, token-level pruning is applied within the retained frames. Crucially, the pruning ratio in the second stage is determined adaptively based on the content of each video. This is achieved by analyzing the correlation structure of token embeddings to quantify redundancy, which is used to determine the ratio. Importantly, our method is entirely post-hoc and requires no additional training or fine-tuning, while achieving strong empirical gains; notably, it improves accuracy by +7\% on a video captioning benchmark at 10\% token retention, while reducing computation TFLOPs by 95\%.