XShare: 빠른 MoE 추론을 위한 협업 배치 내 전문가 공유

XShare: Collaborative in-Batch Expert Sharing for Faster MoE Inference

혼합 전문가(MoE) 아키텍처는 대규모 언어 모델을 효율적으로 확장하는 데 점점 더 많이 사용되고 있습니다. 그러나 실제 추론 과정에서 요청 배치 처리 및 추론 예측 기법은 전문가 활성화를 크게 증가시켜 이러한 효율성 이점을 감소시킵니다. 본 논문에서는 배치 정보를 고려한 전문가 선택을 모듈식 최적화 문제로 모델링하고, 다양한 배포 환경에 적합한 효율적인 탐욕 알고리즘을 설계했습니다. 제안하는 방법인 XShare는 재학습이 필요 없으며, 각 배치에 대해 동적으로 적응하여 선택된 전문가들의 총 게이팅 점수를 최대화합니다. XShare는 표준 배치 처리 환경에서 전문가 활성화를 최대 30%까지 줄이고, 전문가 병렬 환경에서 GPU 부하를 최대 3배까지 감소시키며, 계층적이고 상관 관계를 고려한 전문가 선택을 통해 다양한 데이터셋에서 추출된 요청 배치에서도 추론 처리량을 최대 14%까지 향상시킵니다.

Mixture-of-Experts (MoE) architectures are increasingly used to efficiently scale large language models. However, in production inference, request batching and speculative decoding significantly amplify expert activation, eroding these efficiency benefits. We address this issue by modeling batch-aware expert selection as a modular optimization problem and designing efficient greedy algorithms for different deployment settings. The proposed method, namely XShare, requires no retraining and dynamically adapts to each batch by maximizing the total gating score of selected experts. It reduces expert activation by up to 30% under standard batching, cuts peak GPU load by up to 3x in expert-parallel deployments, and achieves up to 14% throughput gains in speculative decoding via hierarchical, correlation-aware expert selection even if requests in a batch drawn from heterogeneous datasets.