BasketEvent: 농구 비디오에서 누가 언제 무엇을 했는지 이해하기

BasketEvent: Understanding Who Did What and When in Basketball Videos

농구 비디오에 대한 종합적인 이해를 위해서는 어떤 이벤트가 발생하는지 뿐만 아니라, 그 책임이 누구에게 있는지, 그리고 중요한 증거가 언제 나타나는지를 파악해야 합니다. 그러나 기존 방법들은 일반적으로 공간 인식과 의미 인식을 분리된 작업으로 취급하여, 이벤트를 개별 선수와 연결하거나 복잡한 집단 역학 내에서 시간 경계를 정확하게 파악하는 데 실패합니다. 이러한 격차를 해소하기 위해, 실제 NBA 방송에서 수집된 플레이어 중심의 농구 이벤트 이해 데이터셋인 BasketEvent를 소개합니다. BasketEvent에서는 이벤트 레이블이 책임 있는 선수와 연결되어 있으며, 정확한 이벤트 구간에 대한 수동으로 주석 처리된 1,000개의 샘플을 제공하여 시간적 증거 위치 추정을 평가합니다. 이 데이터를 기반으로, 플레이어 중심의 추론 프레임워크인 PlayNet을 제안합니다. PlayNet은 농구 비디오를 플레이어 수준의 이벤트 예측과 함께 시간적 증거와 연결합니다. 구체적으로, PlayNet은 주요 개체를 추적하고, 선수 ID를 연결하며, 플레이어-플레이어, 플레이어-공, 그리고 전체 코트 상호 작용을 모델링하여 이벤트를 추론하고, 게이티드 풀링을 통해 희소한 시간적 증거를 통합합니다. 광범위한 실험 결과는 PlayNet이 대표적인 비디오 수준 및 영역 기반의 기존 방법보다 훨씬 뛰어난 성능을 보이며, 정밀한 스포츠 비디오 이해에 대한 플레이어 중심 모델링의 우수성을 입증합니다. 저희 데이터, 코드, 그리고 모델은 공개적으로 제공될 예정입니다.

Comprehensive basketball video understanding requires resolving not only what event occurs, but also who is responsible and when the key evidence appears. However, exist- ing methods typically treat spatial perception and semantic recognition as isolated tasks, failing to ground events to individual players or pinpoint their temporal boundaries within complex collective dynamics. To bridge this gap, we introduce BasketEvent, a player- centric basketball event understanding dataset curated from real NBA broadcasts. In BasketEvent, event labels are grounded to the responsible players, and a manually an- notated subset of 1,000 samples with precise event intervals is provided to evaluate tem- poral evidence localization. Based on this data, we propose PlayNet, a player-centric reasoning framework that maps basketball videos to player-level event predictions with temporal evidence. Concretely, PlayNet tracks key entities, associates player identities, and reasons about events by modeling player-player, player-ball, and global court inter- actions, while aggregating sparse temporal evidence via gated pooling. Extensive experi- ments demonstrate that PlayNet significantly outperforms representative video-level and crop-based baselines, proving the superiority of player-centric modeling for fine-grained sports video understanding. Our data, code, and models will be made publicly available.