MMOE: 효율적인 전문가 설계를 통한 확산 트랜스포머의 현대화

MMOE: Modernizing Diffusion Transformers with Efficient Expert Design

최근 대규모 언어 모델(LLM)은 성능 향상과 함께 효율성을 극대화하여 토큰당 비용과 배포 비용을 효과적으로 관리하며 규모를 확장하고 있습니다. 생성형 인공지능 기반 모델(AIGC)의 핵심 기술인 확산 트랜스포머 백본 또한 희소 전문가(sparse expert) 방식을 도입하기 시작했지만, 최근 연구들은 대부분 전체 파라미터 수와 희소성 비율을 늘리는 데 집중하여 LLM의 효율적인 확장을 가능하게 한 효율성 메커니즘을 적용하지 못하고 있으며, 결과적으로 생성 품질과 학습 및 배포 비용 간의 균형이 부족합니다. 본 논문은 이러한 문제점을 해결하기 위해, 효율적인 LLM 확장 원칙을 AIGC 모델에 보다 균형 잡힌 방식으로 적용할 수 있는지 질문하며, ModernMOE (MMOE)라는 새로운 프레임워크를 제안합니다. MMOE는 SiT 스타일의 확산 트랜스포머를 현대화하여, 라우팅 전문가, 공유 및 경량 전문가, 게이트-잔차 라우팅, 그리고 어텐션-잔차 정보 재사용 등의 효율적인 구성 요소를 AIGC 생성에 적용합니다. 본 연구는 MoE를 단순한 플러그인으로 사용하는 대신, 다양한 현대적인 전문가 구성 요소가 확산 트랜스포머 내에서 수렴 속도, 효율성 및 생성 품질에 미치는 영향을 분석합니다. 본 논문의 모든 실험은 단일 8-GPU H100 노드에서 배치 크기 256으로 40만 단계 동안 진행되었으며, 이는 접근 가능한 단일 머신 환경에서의 예산입니다. 동일한 학습 및 샘플링 프로토콜 하에서, 그리고 이러한 예산 범위 내에서 MMOE는 모든 체크포인트에서 더 낮은 FID 값을 달성하여, 기존의 밀집 모델 및 중간 수준의 희소 전문가 기반 모델보다 빠르게 수렴합니다. 또한, 희소 모델 중에서 가장 우수한 품질-비용 균형을 제공합니다. 추가적인 분석 결과, 라우팅 과정에서 층(depth)에 따른 전문가 특화 현상이 안정적으로 나타나며, 경량 라우트의 활용도가 높고, 노이즈 제거 과정 동안 단계별 라우팅 변화가 미미하다는 것을 확인했습니다. 이러한 결과는 AIGC 모델이 LLM과 같이 효율적인 설계 방식을 도입하여 균형 잡힌 확장 경로를 따를 수 있으며, 단순히 전체 파라미터 수와 희소성 비율을 늘리는 것보다 효과적이라는 점을 시사합니다.

Modern large language models scale successfully by pairing capacity growth with efficiency, keeping per-token and deployment costs under control as capacity grows. AIGC Foundation Models (AFMs), especially diffusion-transformer backbones, have begun to adopt sparse experts, but recent efforts mostly enlarge total parameter counts and sparsity ratios without importing the efficiency mechanisms that made LLM scaling practical, so generation quality is seldom balanced against training and deployment cost. This raises a natural question: can the architectural principles behind efficient LLM scaling be adapted to AFMs in a more balanced way? We introduce ModernMOE (MMOE), a modernization of SiT-style diffusion transformers that systematically adapts routed experts, shared and lightweight experts, gate-residual routing, and attention-residual information reuse to AIGC generation. Rather than treating MoE as a single plug-in replacement, MMOE studies how different modern expert components affect convergence, efficiency, and generation quality when composed inside a diffusion transformer. Every experiment in this paper is trained on a single eight-GPU H100 node with batch size 256 for 400k steps, an accessible single-machine budget. Under matched training and sampling protocols and at this budget, MMOE reaches lower FID at every recorded checkpoint, that is, it converges faster per training step, than dense and intermediate sparse-expert baselines, and among the sparse variants it attains the best quality-cost balance. Routing analysis further shows stable expert specialization across depth, substantial use of lightweight routes, and modest step-to-step routing changes during denoising. These results suggest that AFMs can follow the balanced scaling path of LLMs by importing proven efficiency designs, rather than by simply increasing total parameters and sparsity ratios.