SPRI: SVD 분할 기반 잔차 초기화를 통한 데이터 부족 환경에서의 Mixture-of-Experts 모델 재활용

SPRI: SVD-Partitioned Residual Initialization for Data-Constrained MoE Upcycling

Mixture-of-Experts (MoE) 모델은 효율적인 확장성을 제공하지만, 처음부터 학습하는 데에는 막대한 비용이 소요됩니다. MoE 모델 재활용은 사전 학습된 밀집 모델을 희소한 MoE 모델로 변환하여 이러한 비용을 줄이는 방법입니다. 그러나 기존의 재활용 방법들은 대규모 지속적 학습에 의존하는 경향이 있으며, 데이터가 제한적인 지도 학습 환경에서는 동일한 전문가들 또는 사전 학습된 파라미터에 대한 과도한 변화로 인해 성능이 좋지 않은 경우가 많습니다. 이러한 상황에서 효과적인 재활용은 사전 학습된 가중치 구조를 활용하면서 동시에 라우팅된 전문가들에게 충분한 다양성을 제공해야 합니다. 이에, 우리는 SVD-Partitioned Residual Initialization (SPRI) 방법을 제안합니다. SPRI는 사전 학습된 피드 포워드 네트워크(FFN) 가중치에서 파생된 SVD 분할 잔차를 라우팅된 전문가들에게 분배하여, 사전 학습된 스펙트럴 구조에 기반한 제어 가능한 전문가 다양성을 도입합니다. 또한, 적응 안정성을 향상시키기 위해 두 단계의 학습 전략을 추가로 제시합니다. 우리는 다국어 음성-텍스트 번역에서 SPRI를 평가했는데, 제한적인 지도 데이터는 MoE 모델 재활용에 어려움을 야기하며, 여러 대상 언어는 자연스러운 라우팅 이질성을 제공합니다. CoVoST2 데이터셋의 15개 En-to-XX 방향에서, SPRI는 완전하게 미세 조정된 밀집 모델보다 평균 BLEU 점수와 COMET 점수를 각각 2.58점과 3.32점 향상시켰으며, 기존 최고 성능의 MoE 재활용 기준 모델보다 BLEU 점수는 3.39점, COMET 점수는 4.34점 더 높은 성능을 보였습니다.

Mixture-of-Experts (MoE) models enable efficient scaling, but training them from scratch remains prohibitively expensive. MoE upcycling mitigates this cost by converting pretrained dense models into sparse MoE models. However, existing upcycling methods typically rely on large-scale continued training and often perform poorly under data-constrained supervised adaptation, due to either homogeneous experts or overly disruptive perturbations to pretrained parameters. In this setting, effective upcycling must leverage pretrained weight structure while introducing sufficient diversity among routed experts. To this end, we propose SVD-Partitioned Residual Initialization (SPRI), which distributes SVD-partitioned residuals derived from pretrained feed-forward network (FFN) weights across routed experts, introducing controlled expert diversity grounded in pretrained spectral structure. We further introduce a two-stage training strategy to improve adaptation stability. We evaluate SPRI on multilingual speech-to-text translation, where limited supervised data challenges MoE upcycling and multiple target languages provide natural routing heterogeneity. On CoVoST2 across 15 En-to-XX directions, SPRI improves average BLEU and COMET over fully fine-tuned dense models by 2.58 and 3.32 points, respectively, and outperforms the prior best MoE upcycling baseline by 3.39 BLEU and 4.34 COMET points.