효율적인 컨볼루션 디퓨전 모델을 위한 ConvNeXt 재활성화

Reviving ConvNeXt for Efficient Convolutional Diffusion Models

최근의 디퓨전 모델은 전적으로 어텐션 기반 아키텍처의 뛰어난 확장성을 고려하여 트랜스포머 기반 구조를 선호하는 경향이 있습니다. 그러나 컨볼루션 신경망이 효율적인 비전 기반 구조로 자리 잡게 한 국소성 편향, 파라미터 효율성 및 하드웨어 친화성과 같은 특성은 현대적인 생성 모델에서 제한적으로 탐구되어 왔습니다. 본 연구에서는 ConvNeXt와 유사한 기반 구조를 갖지만 조건부 디퓨전 모델링을 위해 설계된 완전 컨볼루션 디퓨전 모델(FCDM)을 소개합니다. 실험 결과, FCDM-XL은 DiT-XL/2의 FLOPs의 50%만을 사용하면서, 256x256 해상도에서 7배, 512x512 해상도에서 7.5배 더 적은 학습 단계를 사용하여 경쟁력 있는 성능을 달성합니다. 주목할 만한 점은 FCDM-XL이 4개의 GPU 시스템에서 학습될 수 있으며, 이는 본 연구에서 제안하는 아키텍처의 뛰어난 학습 효율성을 보여줍니다. 본 연구의 결과는 현대적인 컨볼루션 설계가 디퓨전 모델의 확장에 있어 경쟁력 있고 매우 효율적인 대안을 제공하며, ConvNeXt가 효율적인 생성 모델링을 위한 간단하면서도 강력한 구성 요소로서 다시 활용될 수 있음을 보여줍니다.

Recent diffusion models increasingly favor Transformer backbones, motivated by the remarkable scalability of fully attentional architectures. Yet the locality bias, parameter efficiency, and hardware friendliness--the attributes that established ConvNets as the efficient vision backbone--have seen limited exploration in modern generative modeling. Here we introduce the fully convolutional diffusion model (FCDM), a model having a backbone similar to ConvNeXt, but designed for conditional diffusion modeling. We find that using only 50% of the FLOPs of DiT-XL/2, FCDM-XL achieves competitive performance with 7$\times$ and 7.5$\times$ fewer training steps at 256$\times$256 and 512$\times$512 resolutions, respectively. Remarkably, FCDM-XL can be trained on a 4-GPU system, highlighting the exceptional training efficiency of our architecture. Our results demonstrate that modern convolutional designs provide a competitive and highly efficient alternative for scaling diffusion models, reviving ConvNeXt as a simple yet powerful building block for efficient generative modeling.