HybridStitch: 픽셀 및 타임스텝 레벨 모델 결합을 통한 디퓨전 모델 가속화

HybridStitch: Pixel and Timestep Level Model Stitching for Diffusion Acceleration

디퓨전 모델은 텍스트-이미지(T2I) 생성 분야에서 뛰어난 성능을 보여주지만, 특히 수십억 개의 파라미터를 가진 대규모 모델의 경우 계산량 부담이 매우 큽니다. 기존 연구에서는 일부 디노이징 단계를 작은 모델로 대체하여도 생성 품질을 유지할 수 있다는 점이 밝혀졌습니다. 하지만 이러한 방법들은 특정 타임스텝의 계산량만 줄이는 데 초점을 맞추고, 하나의 타임스텝 내에서의 계산량 차이를 간과합니다. 본 연구에서는 새로운 T2I 생성 패러다임인 HybridStitch를 제안합니다. HybridStitch는 생성을 편집 작업으로 간주하며, 대규모 모델과 소규모 모델을 함께 사용하는 하이브리드 단계를 도입합니다. HybridStitch는 전체 이미지를 상대적으로 쉽게 렌더링할 수 있는 영역과 더 복잡하여 대규모 모델의 정제가 필요한 영역으로 나눕니다. 소규모 모델은 초기 개략적인 스케치를 생성하고, 대규모 모델은 복잡한 영역을 편집하고 개선하는 데 사용됩니다. 실험 결과, HybridStitch는 Stable Diffusion 3에서 1.83배의 속도 향상을 달성했으며, 기존의 모델 결합 방법보다 더 빠른 성능을 보였습니다.

Diffusion models have demonstrated a remarkable ability in Text-to-Image (T2I) generation applications. Despite the advanced generation output, they suffer from heavy computation overhead, especially for large models that contain tens of billions of parameters. Prior work has illustrated that replacing part of the denoising steps with a smaller model still maintains the generation quality. However, these methods only focus on saving computation for some timesteps, ignoring the difference in compute demand within one timestep. In this work, we propose HybridStitch, a new T2I generation paradigm that treats generation like editing. Specifically, we introduce a hybrid stage that jointly incorporates both the large model and the small model. HybridStitch separates the entire image into two regions: one that is relatively easy to render, enabling an early transition to the smaller model, and another that is more complex and therefore requires refinement by the large model. HybridStitch employs the small model to construct a coarse sketch while exploiting the large model to edit and refine the complex regions. According to our evaluation, HybridStitch achieves 1.83$\times$ speedup on Stable Diffusion 3, which is faster than all existing mixture of model methods.