FoMoE: MoE 연합을 통한 풀 복제 장벽 극복

FoMoE: Breaking the Full-Replica Barrier with a Federation of MoEs

대규모 언어 모델(LLM)의 사전 학습은 일반적으로 긴밀하게 연결된 하드웨어 가속기를 갖춘 대규모 인프라를 필요로 합니다. 모델 및 데이터 세트 규모를 늘리는 것이 성능 향상의 주요 동력인 반면, 최근 Mixture-of-Experts (MoE) 아키텍처는 매개변수 수를 계산 비용과 분리하여 최첨단 결과를 달성했습니다. 이러한 효율성은 제한된 컴퓨팅 예산으로 대규모 모델을 학습할 수 있도록 하지만, 일반적으로 단일 데이터 센터의 고속 인터커넥트가 필요합니다. 이러한 물리적 제약을 극복하기 위해 DiLoCo 및 Photon과 같은 최근 연구에서는 지리적으로 분산되고 약하게 연결된 데이터 센터에 걸쳐 확장할 수 있도록 저통신 데이터 병렬 방법을 사용합니다. 그러나 이러한 방법은 근본적인 비효율성을 가지고 있습니다. 즉, 모든 사이트에 전체 모델 복사본이 필요하며, 이는 엄청난 메모리 제약과 통신 오버헤드를 발생시킵니다. 본 연구에서는 전문가 레이어를 작업자에게 분산하여 풀 복제 패러다임을 깨는 시스템인 FoMoE를 소개합니다. FoMoE는 다음과 같은 효과를 보여줍니다: (I) 부분적인 전문가 복제를 통해 효율적인 기준 모델 대비 최대 1.42배, DDP 대비 45.44배까지 통신 비용을 줄입니다; (II) 새로운 스킵 토큰 메커니즘을 통해 최대 1.4배의 실질적인 처리량 향상을 달성합니다; 그리고 (III) 학습된 프록시 환경에서 안정적인 라우팅 성능을 보이며, 시스템 모델링을 통해 100B 규모 구성에서도 통신/메모리 이점을 예측할 수 있습니다.

Pre-training Large Language Models (LLMs) typically demands large-scale infrastructure with tightly coupled hardware accelerators. While increasing model and dataset scale remains the dominant driver of performance, Mixture-of-Experts (MoEs) architectures have recently achieved state-of-the-art results by decoupling parameter count from computational cost. This efficiency enables training massive models on constrained compute budgets, yet it typically requires the high-speed interconnects of a single datacenter. To overcome these physical limits, recent approaches such as DiLoCo and Photon use low-communication data-parallel methods to enable scaling across geographically distributed, weakly connected data centers. However, these methods suffer from a fundamental inefficiency: they require full model replicas at every site, which imposes prohibitive memory constraints and communication overheads. In this work, we introduce FoMoE, a system that breaks the full-replica paradigm by partitioning expert layers across workers. We demonstrate that FoMoE: (I) reduces communication costs by up to 1.42x over efficient baselines and 45.44x over DDP via partial expert replication in the studied regimes; (II) achieves empirical throughput speedups of up to 1.4x through a novel skip-token mechanism; and (III) shows stable routing in the trained proxy regimes and projects the communication/memory benefits to 100B-scale configurations through system modelling.