Piper: 프로그래밍 가능한 분산 학습 시스템

Piper: A Programmable Distributed Training System

대규모 모델 학습은 데이터 병렬 처리, 파이프라인 병렬 처리 및 전문가 병렬 처리와 같은 여러 병렬 전략을 결합하고 ZeRO와 같은 메모리 절약 최적화를 사용하는 것을 점점 더 의존하게 되었습니다. 기초 모델 사전 훈련에 사용되는 시스템은 종종 인간 전문가가 고수준의 병렬 전략을 수동으로 설계한 다음 해당 저수준 실행 전략을 구현하는 데 의존하며, 이는 시스템이 새로운 전략에 적응하기 어렵게 만듭니다. 동시에 많은 범용 프레임워크는 더 유연하지만, 구현 방식은 여전히 특정 일반적인 병렬 전략 집합에 묶여 있어 최첨단 전략을 통합하는 데 어려움이 있습니다. 저희는 사용자 제어가 가능하고 분산 학습 전략과 실행 구현을 분리하는 시스템인 Piper를 소개합니다. Piper는 사용자가 모델 어노테이션 및 스케줄링 지침의 작은 집합을 사용하여 포괄적인 분산 학습 전략을 정의할 수 있도록 합니다. 각 지침은 Piper의 중간 표현(IR), 즉 모든 계산 및 통신을 나타내는 통합된 전역 학습 DAG에 변환을 적용합니다. 이 IR을 사용하여 Piper는 장치별 실행 계획을 컴파일하고, 다양한 병렬 전략과 독립적인 분산 런타임을 통해 이를 실행합니다. 저희는 ZeRO와 같이 일반적으로 사용 가능한 전략에서 성능이 동일하게 유지되는 동시에 DeepSeek-V3의 DualPipe와 같은 복합 병렬 전략에서 계산 및 통신을 공동으로 스케줄링하여 추가적인 성능 및 메모리 효율성 향상을 제공한다는 것을 보여줍니다.

Large-scale model training increasingly relies on composing multiple parallelism strategies, such as data, pipeline, and expert parallelism, together with memory-saving optimizations like ZeRO. Deployed systems for foundation model pretraining often rely on human experts to manually design a high-level parallelism strategy then implement the corresponding low-level execution strategy, making it difficult to adapt the system to new strategies. Meanwhile, many general-purpose frameworks are more flexible but their implementations are still tied to a fixed set of common parallelism strategies, making it challenging to integrate state-of-the-art strategies. We present Piper, a user-controllable distributed training system that decouples the strategy from the runtime implementation. Piper allows users to declare a comprehensive distributed training strategy with a small set of model annotations and scheduling directives. Each directive applies a transformation on Piper's intermediate representation (IR), a unified global training DAG that represents all computation and communication. Using this IR, Piper compiles per-device execution plans and executes them with a distributed runtime agnostic to the strategy. We show that the combined system maintains performance parity on commonly available strategies such as ZeRO, while also enabling additional performance and memory efficiency gains through joint scheduling of compute and communication in composed parallelism strategies such as DeepSeek-V3's DualPipe.