게임 관점에서 바라본 약하게 감독되는 비디오 시간적 위치 파악에 대한 재고

Rethinking Weakly-supervised Video Temporal Grounding From a Game Perspective

본 논문은 어려운 과제인 약하게 감독되는 비디오 시간적 위치 파악 문제를 다룬다. 기존 방법들은 일반적으로 대비 학습과 재구성 패러다임을 사용하여 미리 정의된 구간 제안의 점수를 매기는 구간 제안 선택 프레임워크를 기반으로 한다. 이러한 방법들은 상당한 발전을 이루었지만, 현재 프레임워크는 다음과 같은 두 가지 필수적인 문제를 간과하고 있다고 주장한다. 1) 거친 수준의 다중 모달 학습: 이전 방법들은 쿼리와의 전반적인 비디오 레벨 정렬만 고려하며, 정확한 구간 경계 파악을 위해 비디오 프레임과 쿼리 단어 간의 세부적인 일관성을 모델링하지 못한다. 2) 복잡한 구간 제안: 성능은 제안의 품질에 크게 의존하며, 이는 선택하는 데 많은 시간과 노력이 필요하다. 이에 본 논문에서는 새로운 게임 관점에서 이 문제를 처음으로 해결하고자 한다. 이는 다양한 수준의 다중 모달 상호 작용을 위해 각 비전-언어 쌍 간의 불확실한 관계를 효과적으로 학습한다. 구체적으로, 우리는 각 비디오 프레임과 쿼리 단어를 다변수 협력 게임 이론을 사용하여 게임 플레이어로 모델링하고, 이들이 다중 모달 유사성 점수에 기여하는 정도를 학습한다. 게임 이론적 상호 작용을 통해 집단 내에서 프레임-단어 간의 협력 추세를 정량화함으로써, 프레임과 단어 간의 모든 불확실하지만 가능한 대응 관계를 평가할 수 있다. 마지막으로, 구간 제안 대신 학습된 쿼리 기반 프레임별 점수를 사용하여 더 나은 구간 위치 파악을 수행한다. 실험 결과, 제안하는 방법이 Charades-STA 및 ActivityNet Caption 데이터셋에서 우수한 성능을 달성함을 보여준다.

This paper addresses the challenging task of weakly-supervised video temporal grounding. Existing approaches are generally based on the moment proposal selection framework that utilizes contrastive learning and reconstruction paradigm for scoring the pre-defined moment proposals. Although they have achieved significant progress, we argue that their current frameworks have overlooked two indispensable issues: 1) Coarse-grained cross-modal learning: previous methods solely capture the global video-level alignment with the query, failing to model the detailed consistency between video frames and query words for accurately grounding the moment boundaries. 2) Complex moment proposals: their performance severely relies on the quality of proposals, which are also time-consuming and complicated for selection. To this end, in this paper, we make the first attempt to tackle this task from a novel game perspective, which effectively learns the uncertain relationship between each vision-language pair with diverse granularity and flexible combination for multi-level cross-modal interaction.Specifically, we creatively model each video frame and query word as game players with multivariate cooperative game theory to learn their contribution to the cross-modal similarity score. By quantifying the trend of frame-word cooperation within a coalition via the game-theoretic interaction, we are able to value all uncertain but possible correspondence between frames and words. Finally, instead of using moment proposals, we utilize the learned query-guided frame-wise scores for better moment localization.Experiments show that our method achieves superior performance on both Charades-STA and ActivityNet Caption datasets.