NCCL EP: NCCL을 위한 통합된 전문가 병렬 통신 API 개발

NCCL EP: Towards a Unified Expert Parallel Communication API for NCCL

Mixture-of-Experts (MoE) 아키텍처는 대규모 언어 모델 확장에 필수적이며, DeepEP, Hybrid-EP 등과 같은 특수 장치 기반 통신 라이브러리 개발을 촉진하고 있습니다. 이러한 라이브러리는 MoE 분산 및 결합 작업에 GPU 기반 RDMA가 제공하는 성능상의 이점을 보여줍니다. 본 논문에서는 NCCL의 Device API를 기반으로 완전히 설계된 MoE 통신 라이브러리인 NCCL EP (Expert Parallelism)를 소개합니다. NCCL EP는 C 및 Python 인터페이스를 모두 지원하는 통합된 ncclEpDispatch 및 ncclEpCombine 기능을 제공하며, 추론 디코딩을 위한 Low-Latency (LL) 모드와 학습 및 추론 프리필을 위한 High-Throughput (HT) 모드를 지원합니다. LL 모드는 1~128 토큰의 작은 배치 크기에 대해 NVLink를 통한 직접적인 All-to-All RDMA 연결을 사용하며, 이중 버퍼 통신을 통해 분산 및 결합 단계를 오버랩시킵니다. HT 모드는 4096 토큰 이상의 큰 배치 크기에 대해 NVLink 도메인 내에서 토큰을 집계한 후 노드 간 RDMA 전송을 수행하는 계층적 통신을 사용합니다. 두 모드 모두 노드 내외 통신 모두에 Device API를 활용하여 토폴로지 인식 및 최적화된 GPU 기반 구현의 장점을 제공합니다. 본 논문에서는 H100 기반 클러스터에서 다양한 노드 구성으로 NCCL EP를 평가하고, 경쟁력 있는 LL 커널 성능을 보여주며, vLLM과의 통합을 통한 전체 시스템 성능을 제시합니다. NCCL EP는 NCCL 내에 MoE 통신을 기본적으로 구현함으로써 현재 및 미래의 NVIDIA 플랫폼에서 전문가 병렬 처리를 위한 안정적인 경로를 제공합니다.

Mixture-of-Experts (MoE) architectures have become essential for scaling large language models, driving the development of specialized device-initiated communication libraries such as DeepEP, Hybrid-EP, and others. These libraries demonstrate the performance benefits of GPU-initiated RDMA for MoE dispatch and combine operations. This paper presents NCCL EP (Expert Parallelism), a ground-up MoE communication library built entirely on NCCL's Device API. NCCL EP provides unified ncclEpDispatch and ncclEpCombine primitives with both C and Python interfaces, supporting Low-Latency (LL) mode for inference decoding and High-Throughput (HT) mode for training and inference prefill. LL targets small batch sizes (1-128 tokens) using direct all-to-all RDMA+NVLink mesh connectivity with double-buffered communication for overlapping dispatch and combine phases. HT targets large batches (4096+ tokens) using hierarchical communication that aggregates tokens within NVLink domains before inter-node RDMA transmission. Both modes leverage Device API for both intra- and inter-node communications, taking advantage of its topology awareness and optimized GPU-initiated implementation. We evaluate NCCL EP on an H100-based cluster across multi-node configurations, demonstrating competitive LL kernel performance and presenting end-to-end results with vLLM integration. By building MoE communication natively within NCCL, NCCL EP provides a supported path for expert parallelism on current and emerging NVIDIA platforms.