ReMoE: 라우터 미세 조정을 통한 전문가 재사용률 향상 - 메모리 제약 환경에서의 MoE LLM 추론

ReMoE: Boosting Expert Reuse through Router Fine-Tuning in Memory-Constrained MoE LLM Inference

미세 조정된 Mixture-of-Experts (MoE) 모델은 각 토큰에 대해 일부 전문가만 선택적으로 활성화하여 활성화되는 연산량을 줄이면서도 높은 모델 용량을 유지합니다. 그러나 메모리 제약적인 추론 환경에서는 캐시에 저장할 수 있는 전문가의 수가 제한적입니다. 캐시에 없는 전문가는 느린 외부 저장소(예: UFS)에서 가져와야 하므로 빈번한 데이터 교체와 상당한 I/O 오버헤드가 발생합니다. 저희는 토큰 단위의 전문가 재사용률을 높이기 위한 라우터 미세 조정 프레임워크인 ReMoE를 제안합니다. ReMoE는 최근에 선택된 전문가 쪽으로 라우터를 편향시켜 시간적으로 안정적인 라우팅을 생성하며, 이는 캐시 로컬리티 제약 조건을 더 잘 만족시킵니다. ReMOE는 단기적인 전문가 재사용률을 높여 저장소에서 가져오는 전문가의 수를 줄이면서 추론 시간을 추가로 증가시키지 않습니다. DeepSeek 및 Qwen 모델에 대한 실험 결과, ReMoE는 전문가 재사용률을 26% 향상시키는 동시에 다운스트림 작업 성능을 유지하는 것으로 나타났습니다. 실제 시스템 평가를 통해 이러한 이점을 확인했으며, vLLM GPU-CPU 전문가 오프로딩 환경에서 출력 처리량을 8.4% 향상시키고, llama.cpp 환경에서 TPOT (Total Power Consumption)을 43.6-49.8% 감소시켜 다양한 워크로드에서 디코딩 속도를 1.77-1.99배 향상시켰습니다. 체크포인트 및 사용 설명은 https://github.com/BUAA-OSCAR/ReMoE 에서 확인할 수 있습니다.

Fine-grained Mixture-of-Experts (MoE) models sparsely activate only a subset of experts per token, reducing activated computation while maintaining high model capacity. However, in memory-constrained inference scenarios, only a small set of experts can be cached. Experts not in the cache must be fetched from slow external storage (e.g., UFS), leading to frequent evictions and substantial I/O overhead. We propose ReMoE, a router fine-tuning framework designed to boost token-wise expert reuse. ReMoE biases the router toward recently selected experts, producing temporally stable routing that better matches cache locality constraints. By increasing short-horizon expert reuse, ReMoE reduces expert fetches from storage without adding inference-time computation. Experiments on DeepSeek and Qwen models show that ReMoE improves expert reuse by 26% while maintaining downstream task performance. Real-system evaluations further confirm these benefits, improving output throughput by 8.4% under vLLM GPU-CPU expert offloading and reducing TPOT by 43.6-49.8% under llama.cpp on Jetson Orin NX, corresponding to a 1.77-1.99$\times$ decode speedup across diverse workloads. Checkpoints and usage instructions are available at https://github.com/BUAA-OSCAR/ReMoE.