춤 인식 기반 댄스 검색을 위한 양자화된 구조 보존 모션 표현 학습

Learning Quantised Structure-Preserving Motion Representations for Dance Fingerprinting

본 논문에서는 동 기반 댄스 검색 시스템인 DANCEMATCH를 제안합니다. DANCEMATCH는 원시 비디오 데이터로부터 의미적으로 유사한 안무를 직접 식별하는 DANCE FINGERPRINTING이라는 작업을 수행하는, 전체 과정을 아우르는 프레임워크입니다. 기존의 모션 분석 및 검색 방법은 자세 시퀀스를 비교하지만, 이는 인덱싱, 해석 또는 확장이 어려운 연속적인 임베딩에 의존합니다. 반면, DANCEMATCH는 댄스의 시공간적 구조를 포착하면서도 효율적인 대규모 검색을 가능하게 하는, 간결하고 이산적인 모션 시그니처를 생성합니다. 저희 시스템은 Apple CoMotion을 통해 추출된 인간 자세를 구조화된 모션 어휘로 인코딩하기 위해 Skeleton Motion Quantisation (SMQ)을 Spatio-Temporal Transformers (STT)와 통합합니다. 또한, 히스토그램 기반 인덱스를 사용하여 부분 선형 검색을 수행하고, 정교한 매칭을 위해 재순위를 부여하는 DANCE RETRIEVAL ENGINE (DRE)를 설계했습니다. 재현 가능한 연구를 지원하기 위해, 양자화된 모션 토큰으로 주석이 달린 자세 정렬 데이터셋인 DANCETYPESBENCHMARK을 공개합니다. 실험 결과는 다양한 춤 스타일에 대한 강력한 검색 성능과, 새롭고 보이지 않는 안무에 대한 일반화 성능을 보여주며, 확장 가능한 모션 지문 생성 및 정량적 안무 분석의 기반을 마련합니다.

We present DANCEMATCH, an end-to-end framework for motion-based dance retrieval, the task of identifying semantically similar choreographies directly from raw video, defined as DANCE FINGERPRINTING. While existing motion analysis and retrieval methods can compare pose sequences, they rely on continuous embeddings that are difficult to index, interpret, or scale. In contrast, DANCEMATCH constructs compact, discrete motion signatures that capture the spatio-temporal structure of dance while enabling efficient large-scale retrieval. Our system integrates Skeleton Motion Quantisation (SMQ) with Spatio-Temporal Transformers (STT) to encode human poses, extracted via Apple CoMotion, into a structured motion vocabulary. We further design DANCE RETRIEVAL ENGINE (DRE), which performs sub-linear retrieval using a histogram-based index followed by re-ranking for refined matching. To facilitate reproducible research, we release DANCETYPESBENCHMARK, a pose-aligned dataset annotated with quantised motion tokens. Experiments demonstrate robust retrieval across diverse dance styles and strong generalisation to unseen choreographies, establishing a foundation for scalable motion fingerprinting and quantitative choreographic analysis.