AdaCluster: 비디오 생성에서의 희소 어텐션을 위한 적응형 쿼리-키 클러스터링

AdaCluster: Adaptive Query-Key Clustering for Sparse Attention in Video Generation

비디오 디퓨전 트랜스포머(DiTs)는 2차 복잡도의 어텐션으로 인해 상당한 추론 지연 문제를 겪습니다. 기존의 희소 어텐션 방법들은 종종 의미적 유사성을 간과하거나, 레이어 간의 이질적인 토큰 분포에 대한 적응성을 부족하여 모델 성능 저하를 초래합니다. 본 논문에서는 정확도를 유지하면서 DiTs의 생성 속도를 향상시키는 훈련이 필요 없는 적응형 클러스터링 프레임워크인 AdaCluster를 제안합니다. AdaCluster는 쿼리 벡터에 대해 각도 유사성을 유지하는 클러스터링 방법을 적용하여 높은 압축률을 달성하고, 키에 대해서는 유클리드 거리 유사성을 유지하는 클러스터링 방법을 설계합니다. 이는 클러스터 개수 할당, 임계값 기반의 적응형 클러스터링, 그리고 효율적인 핵심 클러스터 선택을 포함합니다. A40 GPU 한 대에서 CogVideoX-2B, HunyuanVideo, Wan-2.1 데이터셋에 대한 실험 결과, AdaCluster는 최대 1.67배에서 4.31배의 속도 향상을 제공하며, 품질 저하가 미미함을 확인했습니다.

Video diffusion transformers (DiTs) suffer from prohibitive inference latency due to quadratic attention complexity. Existing sparse attention methods either overlook semantic similarity or fail to adapt to heterogeneous token distributions across layers, leading to model performance degradation. We propose AdaCluster, a training-free adaptive clustering framework that accelerates the generation of DiTs while preserving accuracy. AdaCluster applies an angle-similarity-preserving clustering method to query vectors for higher compression, and designs a euclidean-similarity-preserving clustering method for keys, covering cluster number assignment, threshold-wise adaptive clustering, and efficient critical cluster selection. Experiments on CogVideoX-2B, HunyuanVideo, and Wan-2.1 on one A40 GPU demonstrate up to 1.67-4.31x speedup with negligible quality degradation.