VisualRouter: 질의 기반 시각적 샘플링을 통한 장편 비디오 이해

VisualRouter: Query-Grounded Visual Sampling for Long Video Understanding

대규모 시각-언어 모델(LVLM)은 비디오 이해 분야에서 상당한 발전을 이루었지만, 많은 수의 시각적 토큰과 제한된 컨텍스트 창으로 인해 여전히 장편 비디오 이해는 어려운 과제입니다. 시각적 샘플링은 유용한 프레임 하위 집합을 선택함으로써 실용적인 해결책을 제공합니다. 그러나 기존 방법은 일반적으로 관련성 기반 샘플링에 의존하여 중복된 프레임 선택과 불충분한 시간적 범위를 초래하거나, 질의 유형에 관계없이 고정된 샘플링 전략을 채택합니다. 본 논문에서는 질의 기반 시각적 샘플링을 위한 훈련이 필요 없는 플러그 앤 플레이 프레임워크인 VisualRouter를 제안합니다. VisualRouter는 먼저 각 질의를 글로벌 또는 로컬로 분류하고, 해당 샘플링 전략을 적용합니다. 글로벌 질의의 경우, 시간적 범위를 유지하면서 질의와 관련된 시각적 정보를 보존하는 관련성-범위 하이브리드 전략을 사용합니다. 로컬 질의의 경우, 이벤트 파티셔닝, 세그먼트 수준 프레임 할당 및 이벤트 내 프레임 선택을 수행하여 제한된 수의 입력 프레임을 사용하여 관련성, 범위 및 다양성을 균형 있게 조절하는 이벤트 기반 프레임 선택 전략을 채택합니다. 실험 결과, VisualRouter는 다양한 LVLM에서 일관적으로 균일 샘플링보다 성능이 향상되었으며, Video-MME, LongVideoBench, MLVU 데이터셋에서 Qwen2.5-VL-7B 모델을 사용하여 각각 5.2%, 7.7% 및 11.6%의 성능 향상을 보였습니다. 또한 동일한 설정 하에서 기존의 훈련이 필요 없는 시각적 샘플링 방법보다 우수한 성능을 나타냈습니다.

Large vision-language models (LVLMs) have achieved significant progress in video understanding, yet understanding long videos remains challenging due to the large number of visual tokens and limited context windows. Visual sampling provides a practical solution by selecting an informative subset of frames. However, existing methods typically either rely on relevance-aware sampling, leading to redundant frame selection and insufficient temporal coverage, or adopt a fixed sampling strategy regardless of query type. In this paper, we propose VisualRouter, a training-free and plug-and-play framework for query-grounded visual sampling. VisualRouter first classifies each query as either global or local and then applies the corresponding sampling strategy. For global queries, it employs a relevance-coverage hybrid strategy that preserves temporal coverage while retaining query-relevant visual evidence. For local queries, it adopts an event-aware frame selection strategy that performs event partitioning, segment-level frame allocation, and intra-event frame selection, jointly balancing relevance, coverage, and diversity with a limited number of input frames. Experiments show that VisualRouter consistently improves multiple LVLMs over uniform sampling, achieving gains of 5.2%, 7.7%, and 11.6% on Video-MME, LongVideoBench, and MLVU with Qwen2.5-VL-7B, and outperforming existing training-free visual sampling methods under the same setting.