UniPool: 혼합 전문가(Mixture-of-Experts)를 위한 글로벌 공유 전문가 풀

UniPool: A Globally Shared Expert Pool for Mixture-of-Experts

최신 혼합 전문가(MoE) 아키텍처는 각 레이어마다 고정된 규칙에 따라 전문가 용량을 할당합니다. 즉, 각 트랜스포머 레이어는 별도의 전문가 집합을 소유합니다. 이러한 관행은 레이어의 깊이 확장과 전문가 파라미터의 선형적인 증가를 연결하며, 모든 레이어가 독립적인 전문가 용량이 필요하다고 가정합니다. 그러나 최근 분석과 우리의 라우팅 실험 결과는 이러한 할당 규칙에 도전합니다. 더 깊은 레이어의 학습된 상위-k 라우터를 균일한 랜덤 라우팅으로 대체해도 여러 생산 MoE 모델에서 다운스트림 정확도가 1.0~1.6 포인트 정도만 감소합니다. 이러한 중복성을 감안하여, 우리는 전문가 용량을 레이어별 소유권 대신 단일 공유 풀로 처리하는 MoE 아키텍처인 UniPool을 제안합니다. UniPool은 각 레이어의 독립적인 라우터가 접근하는 공유 풀을 사용합니다. 공유 환경에서 안정적이고 균형 잡힌 학습을 가능하게 하기 위해, 우리는 전체 풀에 걸쳐 전문가 활용도를 균형 있게 조정하는 풀 레벨 보조 손실을 도입하고, 공유 전문가 풀로의 희소하고 확장 안정적인 라우팅을 제공하기 위해 NormRouter를 채택했습니다. Pile 데이터셋에서 300억 개의 토큰으로 학습된 5가지 크기(182M, 469M, 650M, 830M, 978M 파라미터)의 LLaMA 아키텍처 모델에서, UniPool은 일관되게 검증 손실과 퍼플렉시티 측면에서 기존 MoE 모델보다 우수한 성능을 보입니다. 이러한 크기 범위에서, UniPool은 기존 MoE에 비해 최대 0.0386만큼 검증 손실을 줄입니다. 단순히 손실 감소 외에도, 우리의 결과는 풀 크기를 명시적인 깊이 확장 하이퍼파라미터로 식별합니다. 기존 MoE 모델의 전문가 파라미터 예산의 41.6%~66.7%만 사용하는 UniPool 변형이 테스트된 크기에서 기존 레이어별 MoE 모델과 동등하거나 더 나은 성능을 보입니다. 이는 공유 풀 설계 하에서 전문가 파라미터가 깊이에 따라 선형적으로 증가할 필요가 없으며, 기존 MoE보다 더 효율적이고 효과적으로 동작할 수 있음을 보여줍니다. 추가 분석 결과, UniPool의 이점은 더욱 세분화된 전문가 분해와 함께 시너지 효과를 냅니다.

Modern Mixture-of-Experts (MoE) architectures allocate expert capacity through a rigid per-layer rule: each transformer layer owns a separate expert set. This convention couples depth scaling with linear expert-parameter growth and assumes that every layer needs isolated expert capacity. However, recent analyses and our routing probe challenge this allocation rule: replacing a deeper layer's learned top-k router with uniform random routing drops downstream accuracy by only 1.0-1.6 points across multiple production MoE models. Motivated by this redundancy, we propose UniPool, an MoE architecture that treats expert capacity as a global architectural budget by replacing per-layer expert ownership with a single shared pool accessed by independent per-layer routers. To enable stable and balanced training under sharing, we introduce a pool-level auxiliary loss that balances expert utilization across the entire pool, and adopt NormRouter to provide sparse and scale-stable routing into the shared expert pool. Across five LLaMA-architecture model scales (182M, 469M, 650M, 830M, and 978M parameters) trained on 30B tokens from the Pile, UniPool consistently improves validation loss and perplexity over the matched vanilla MoE baselines. Across these scales, UniPool reduces validation loss by up to 0.0386 relative to vanilla MoE. Beyond raw loss improvement, our results identify pool size as an explicit depth-scaling hyperparameter: reduced-pool UniPool variants using only 41.6%-66.7% of the vanilla expert-parameter budget match or outperform layer-wise MoE at the tested scales. This shows that, under a shared-pool design, expert parameters need not grow linearly with depth; they can grow sublinearly while remaining more efficient and effective than vanilla MoE. Further analysis shows that UniPool's benefits compose with finer-grained expert decomposition.