GSTEP: 효율적인 비디오 대규모 언어 모델을 위한 글로벌 시공간 밀도 기반 시각적 토큰 가지치기

GSTEP: Global Spatio-Temporal Density-Driven Visual Token Pruning for Efficient Video Large Language Models

비디오 대규모 언어 모델(VideoLLMs)은 뛰어난 비디오 이해 성능을 보여주지만, 긴 비디오 내의 많은 중복된 시공간 시각적 토큰으로 인해 추론 비용이 높습니다. 기존의 토큰 가지치기 방법들은 이러한 비용을 줄이기 위해 불필요한 토큰을 제거하지만, 대부분의 방법들이 세그먼트 수준의 지역적인 가지치기를 사용하며, 이는 비디오를 독립적인 세그먼트로 나누고 각 세그먼트 내에서 개별적으로 토큰을 선택합니다. 이러한 방식은 짧지만 의미가 풍부한 세그먼트를 충분히 보존하지 못하고, 지역적으로 중요해 보이지 않더라도 전체적으로 중요한 토큰들을 제거할 수 있습니다. 이러한 문제를 해결하기 위해, 우리는 GSTEP(Global Spatio-Temporal Density Pruning)이라는 플러그 앤 플레이 가지치기 프레임워크를 제안합니다. GSTEP은 비디오를 연속적인 시공간 정보 흐름으로 모델링하며, 연속적인 시간 밀도(부드럽게 처리된 중심 프레임 수준의 변화 신호에서 얻음)와 프레임 내 공간 밀도를 결합하여 토큰 수준의 시공간 밀도를 구성하고, 정보 밀도와 커버리지를 균형 있게 고려하여 글로벌 토큰 샘플링을 수행합니다. 다양한 VideoLLMs 및 공개 벤치마크에서의 광범위한 실험 결과는 GSTEP이 일관되게 뛰어난 정확성과 효율성의 균형을 제공하며, 모델 아키텍처 및 평가 환경에 걸쳐 잘 일반화된다는 것을 보여줍니다. LLaVA-OneVision-7B에서 GSTEP은 시각적 토큰의 75%를 가지치고, 벤치마크 전반에 걸쳐 원래 평균 성능의 최대 100.2%를 유지하며, 전체적인 속도를 1.17배 향상시켰습니다.

Video large language models (VideoLLMs) achieve strong video understanding performance, but their inference remains expensive due to the large number of redundant spatio-temporal visual tokens in long videos. Existing token pruning methods alleviate this cost by reducing redundant tokens, yet most of them rely on segment-level local pruning, where videos are partitioned into isolated segments and tokens are selected independently within each segment. Such designs may under-preserve short but semantically dense segments and discard tokens that appear non-salient locally but remain critical from a global perspective. To address this issue, we propose GSTEP (Global Spatio-Temporal Density Pruning), a plug-and-play pruning framework that models video as a continuous spatio-temporal information flow. GSTEP constructs a token-level spatio-temporal density by combining a continuous temporal density, obtained from a smoothed centered frame-level change signal, with intra-frame spatial density, and then performs global token sampling by jointly balancing information density and coverage. Extensive experiments on multiple VideoLLMs and public benchmarks demonstrate that GSTEP consistently achieves strong accuracy-efficiency trade-offs and generalizes well across model architectures and evaluation settings. On LLaVA-OneVision-7B, GSTEP prunes 75% of visual tokens, preserves up to 100.2% of the original average performance across benchmarks, and achieves a 1.17 end-to-end speedup.