HFS: 효율적인 비디오 이해를 위한 전체적이고 쿼리 인식 기반 프레임 선택 방법

HFS: Holistic Query-Aware Frame Selection for Efficient Video Understanding

핵심 프레임 선택은 본질적으로 집합 수준의 최적화 문제이며, 선택된 부분집합의 품질은 개별 프레임의 점수보다는 프레임 간의 상호 작용에 따라 달라집니다. 기존 방법들은 일반적으로 세 가지 주요한 한계점을 보입니다. 점별(point-wise) 방법은 각 프레임을 독립적으로 평가하며 프레임 간의 의존성을 무시합니다. 학습 과정이 필요 없는 집합 수준의 방법들은 프레임 간의 관계를 명시적으로 모델링하지만, 선택 기준은 고정되어 있어 하위 작업으로부터의 피드백을 통해 적응할 수 없습니다. 학습 가능한 방법들은 데이터 기반 훈련을 활용할 수 있지만, 명시적이고 미분 가능한 집합 품질 목표가 없으며 오프라인에서 생성된 감독 신호에 의존합니다. 이러한 한계점을 해결하기 위해, 우리는 프레임 선택을 위한 엔드-투-엔드 학습 가능하고 작업 적응이 가능한 프레임워크를 제안합니다. Chain-of-Thought 프롬프트를 사용하여 소규모 언어 모델(SLM)이 작업별 잠재적 쿼리 벡터를 추출하도록 유도하며, 이 벡터들은 다중 모달 특징과 결합되어 동적이고 쿼리 인식 기반의 프레임 점수를 계산합니다. 또한, 우리는 관련성, 범위 및 중복성을 동시에 고려하는 연속적인 집합 수준의 목표 함수를 정의하여 Gumbel-TopK를 통해 미분 가능한 집합 수준의 최적화를 가능하게 합니다. 마지막으로, 학생-선생자 상호 학습 전략을 사용하여 학생 선택 모델(SLM)과 선생님 추론 모델(MLLM)이 KL 발산을 통해 프레임 중요도 분포를 일치시키도록 훈련합니다. 교차 엔트로피 손실과 함께 이 설계는 정적 가짜 레이블에 대한 의존성을 없애고 완전한 엔드-투-엔드 최적화를 가능하게 합니다. Video-MME, LongVideoBench, MLVU 및 NExT-QA를 포함한 다양한 벤치마크에서의 실험 결과는 제안된 방법이 기존의 프레임 선택 방식보다 훨씬 우수한 성능을 보임을 입증합니다.

Key frame selection is essentially a set-level optimization problem: the quality of the selected subset depends on the interactions among frames, rather than the score of any single frame. Existing methods generally exhibit three major limitations. Point-wise methods score each frame independently and ignore inter-frame dependencies. Although the training-free set-level methods explicitly model the inter-frame relationships, their selection criteria are fixed and cannot be adapted through downstream task feedback. Learnable methods can leverage data-driven training; however, they lack an explicit, differentiable set-quality objective and rely on offline-generated supervision signals. To address these limitations, we propose an end-to-end trainable and task-adaptive framework for frame selection. A Chain-of-Thought prompt conditions a Small Language Model (SLM) to extract task-specific latent query vectors, which are combined with multimodal features to enable dynamic, query-aware frame scoring. We further formulate a continuous set-level objective function that jointly accounts for relevance, coverage, and redundancy, enabling differentiable set-level optimization via Gumbel-TopK for selecting optimal frame combinations. Finally, we employ a student-teacher mutual learning strategy, in which the student selector (SLM) and teacher reasoner (MLLM) are trained to align their frame-importance distributions via KL divergence. Combined with cross-entropy loss, this design enables fully end-to-end optimization, eliminating reliance on static pseudo-labels. Experiments across multiple benchmarks, including Video-MME, LongVideoBench, MLVU, and NExT-QA, demonstrate that our method significantly outperforms existing frame-selection approaches.