효율적인 비디오 생성을 위한 토큰 반경 어텐션

Token Radius Attention for Efficient Video Generation

비디오 디퓨전 트랜스포머(VDiT)는 고품질 비디오 생성을 가능하게 하지만, 밀집된 3D 셀프 어텐션으로 인해 발생하는 제곱에 비례하는 계산 비용이 단점입니다. 기존의 헤드 및 블록 레벨의 희소화 방법은 쿼리에 대한 계산 예산을 공유하며, 토큰별 어텐션 요구 사항을 간과합니다. 우리는 유지되는 밀도가 쿼리마다 다르지만 어텐션 엔트로피와 로그 선형적으로 상관 관계가 있음을 관찰했습니다. 또한, 주요 상호 작용은 쿼리를 중심으로 형성되며, 토큰에 따라 달라지는 반경을 갖는 이웃 구조를 갖습니다. 이러한 발견을 바탕으로, 우리는 학습이 필요 없는 프레임워크인 토큰 반경 어텐션(TRA)을 제안합니다. TRA는 쿼리 엔트로피를 분석적인 토큰 예산으로 매핑하고, 명시적인 키 순위 결정 없이 시간적으로 감소하는 반경으로 변환합니다. 엔트로피 추출의 효율성 향상, 워밍업 재사용 및 블록 희소화 마스크 구성은 추가적인 오버헤드를 줄입니다. Wan2.1, Wan2.2 및 HunyuanVideo T2V/I2V 구성 7가지에 대해 TRA는 어텐션 상호 작용의 9-19%만 유지하면서 1.56배에서 2.05배의 속도 향상을 달성하고 경쟁력 있는 생성 품질을 제공합니다. 코드는 https://github.com/IF-LAB-PKU/Token-Radius-Attention 에서 확인할 수 있습니다.

Video Diffusion Transformers (VDiTs) enable high-fidelity generation but incur quadratic cost from dense 3D self-attention. Existing head- and block-level sparse methods share computation budgets across queries, overlooking token-specific attention demand. We observe that retained density varies across queries yet correlates log-linearly with attention entropy, while dominant interactions form query-centered neighborhoods with token-dependent radii. Based on these findings, we propose Token Radius Attention (TRA), a training-free framework that maps query entropy to an analytic token budget and converts it into a temporally decayed radius without explicit key ranking. Fused entropy extraction, warm-up reuse, and block-sparse mask construction further reduce overhead. Across seven Wan2.1, Wan2.2, and HunyuanVideo T2V/I2V configurations, TRA retains only 9-19% of attention interactions and achieves 1.56x-2.05x speedup with competitive generation quality. Code is available at https://github.com/IF-LAB-PKU/Token-Radius-Attention.