MELINOE: 미세 조정(Fine-tuning)을 통한 메모리 효율적인 추론: 전문가 혼합 모델

MELINOE: Fine-Tuning Enables Memory-Efficient Inference for Mixture-of-Experts Models

전문가 혼합(Mixture-of-Experts, MoE) 모델 아키텍처는 활성화되는 파라미터 수를 줄여 계산 효율적인 학습 및 추론을 가능하게 합니다. 그러나, 전체 파라미터 수와 모델 크기가 커서, 모든 파라미터를 GPU 메모리에 로드해야 하므로, 자원 제약적인 환경에서의 광범위한 사용을 어렵게 만듭니다. 기존 연구에서는 일부 전문가를 CPU 메모리로 오프로드하고, 활성화될 때만 GPU 메모리로 옮기는 방식으로 이러한 메모리 병목 현상을 해결하고자 했습니다. 하지만 이러한 방법은 전문가 이동으로 인한 상당한 I/O 지연 문제를 안고 있습니다. 본 논문에서는 MELINOE라는 방법을 제시합니다. MELINOE는 MoE 모델을 미세 조정하여, 시퀀스당 더 적은 수의 전문가를 활성화하도록 유도합니다. 이렇게 선택된 전문가들을 GPU 메모리에 캐싱함으로써, 전문가의 빈번한 변경(churn)과 CPU-GPU 간의 데이터 전송 오버헤드를 줄입니다. MELINOE는 기존의 효율적인 모델 대비 1.2배에서 3배, 데이터 전송량이 많은 모델 대비 최대 14.7배의 처리량(throughput)을 향상시키면서, 다운스트림 작업에서의 모델 성능을 유지하거나 향상시킵니다. 따라서, MELINOE는 MoE 추론 효율성을 향상시키는 신뢰할 수 있는 방법입니다.

Mixture-of-Experts (MoE) model architectures can significantly reduce the number of activated parameters per token, enabling computationally efficient training and inference. However, their large overall parameter counts and model sizes have precluded their widespread usage in resource-constrained settings as all of the parameters must still be loaded into GPU memory. Prior works aim to address this memory bottleneck by offloading certain experts into CPU memory and porting them to GPU memory only when they are activated. In practice, these methods suffer from the significant I/O latency incurred by expert transfer. We present MELINOE, a method that fine-tunes an MoE model to more strongly prefer activating a smaller number of experts per sequence. Caching these preferred experts in GPU memory reduces expert churn and CPU-GPU transfer overhead. MELINOE increases throughput by $1.2-3\times$ over efficient baselines and up to $14.7\times$ over transfer-heavy baselines while retaining or even improving the performance of the model on a downstream task, making it a reliable method for improving MoE inference efficiency.