Kaleido: 잠재 공간 상관 관계를 활용한 비디오 디퓨전 트랜스포머의 알고리즘-하드웨어 공동 설계

Kaleido: Algorithm-Hardware Co-Design for Video Diffusion Transformers by Exploiting Latent Space Correlations

비디오 디퓨전 트랜스포머(vDiT)는 고품질의 비디오를 생성하지만, 긴 디퓨전 타임 스텝과 자체 어텐션 계산으로 인해 매우 높은 연산 비용이 발생합니다. 디퓨전 타임 스텝이 감소함에 따라 자체 어텐션 계산의 연산 비용이 주요 병목 현상이 됩니다. 기존의 가속화 방법은 주로 대규모 언어 모델에서 사용되는 희소 어텐션 기술을 차용하는데, 이는 비디오 데이터의 고유한 공간-시간 상관 관계를 고려하지 못합니다. 본 논문에서는 잠재 공간 내 채널별 공간-시간 상관 관계를 활용하여 vDiT의 모든 연산을 가속화하는 알고리즘-하드웨어 공동 설계인 Kaleido를 제시합니다. 이러한 통찰력을 바탕으로, 불필요한 계산을 건너뛰고 부분 결과를 재사용함으로써 기존 방법보다 더 높은 생성 품질(>17 dB)을 유지하는 경량 채널별 재사용 알고리즘을 제안합니다. 또한, 본 알고리즘을 효율적으로 지원하기 위해, 재구성 가능한 처리 요소와 경량 데이터 디스패처를 갖춘 시스트릭 어레이 기반 가속기를 설계하여, 재사용 알고리즘에 의해 발생하는 불규칙한 희소성과 데이터 접근 패턴을 완화합니다. 세 가지 주요 vDiT 모델에 대한 평가 결과, Kaleido는 최첨단 가속기에 비해 최대 5.9배의 속도 향상과 16.0배의 에너지 절약을 달성했습니다.

Video diffusion transformers (vDiTs) generate high quality video but introduce extremely high compute cost due to the long diffusion timesteps and self attention computation. As diffusion timesteps are reduced, the computation cost of self attention becomes the dominant bottleneck. Existing acceleration approaches largely inherit sparse attention techniques from large language models, which fail to consider the unique spatiotemporal correlation of video data. This paper presents Kaleido, an algorithm hardware codesign that accelerates all operations in vDiTs by exploiting channel-wise spatiotemporal correlations in latent space. Based on this insight, we propose a lightweight channelwise reuse algorithm that skips redundant computations by reusing partial results while preserving higher generative quality than prior methods (>17 dB). To efficiently support this algorithm, we design a systolic array like accelerator with reconfigurable processing elements and a lightweight data dispatcher to mitigate irregular sparsity and data access patterns introduced by our reuse algorithm. Evaluations across three mainstream vDiT models show that Kaleido achieves up to 5.9x speedup and 16.0x energy savings over state of the art accelerators.