FreeScale: 최소한의 확장 비용으로 시퀀스 추천 모델을 위한 분산 학습

FreeScale: Distributed Training for Sequence Recommendation Models with Minimal Scaling Cost

현대 산업에서 사용되는 딥러닝 추천 모델은 일반적으로 사용자 선호도를 시퀀스 형태의 상호 작용 기록 분석을 통해 추출하고, 이를 바탕으로 예측을 생성합니다. 데이터 특성의 이질성으로 인해 대규모 학습 과정에서 계산 자원이 과도하게 낭비되는 경우가 많습니다. 이는 주로 심각한 지연(straggler)과 느린 통신으로 인해 발생하는 계산 병목 현상 때문입니다. 본 논문에서는 이러한 문제를 해결하기 위해 FreeScale이라는 솔루션을 제안합니다. FreeScale은 (1) 정교하게 균형 잡힌 입력 샘플을 사용하여 지연 문제를 완화하고, (2) 우선순위가 높은 임베딩 통신을 계산과 겹쳐 진행하여 통신 지연을 최소화하며, (3) SM-Free 기술을 사용하여 계산 및 통신 중 GPU 자원 경쟁 문제를 해결합니다. 실제 256개의 H100 GPU에서 실행되는 실제 워크로드에 FreeScale을 적용한 실험 결과, 계산 병목 현상을 최대 90.3%까지 줄일 수 있음을 확인했습니다.

Modern industrial Deep Learning Recommendation Models typically extract user preferences through the analysis of sequential interaction histories, subsequently generating predictions based on these derived interests. The inherent heterogeneity in data characteristics frequently result in substantial under-utilization of computational resources during large-scale training, primarily due to computational bubbles caused by severe stragglers and slow blocking communications. This paper introduces FreeScale, a solution designed to (1) mitigate the straggler problem through meticulously load balanced input samples (2) minimize the blocking communication by overlapping prioritized embedding communications with computations (3) resolve the GPU resource competition during computation and communication overlapping by communicating through SM-Free techniques. Empirical evaluation demonstrates that FreeScale achieves up to 90.3% reduction in computational bubbles when applied to real-world workloads running on 256 H100 GPUs.