LLM 사전 학습을 위한 로컬 통신 및 로컬 업데이트 통합

Unifying Local Communications and Local Updates for LLM Pretraining

LLM의 사전 학습은 컴퓨팅 자원을 클러스터, 데이터 센터 및 저대역폭 링크에 분산하여 활용하기 때문에, 통신 효율성이 점점 더 중요해지고 있습니다. 많은 실용적인 방법들이 통신 빈도를 줄이지만, 여전히 모든 모델 상태를 동일하게 유지하고 전체 과정을 글로벌 연산에 연결하는 동기식 All-Reduce 연산을 사용합니다. 이는 대역폭이나 워커 속도가 이질적인 경우 병목 현상을 유발할 수 있습니다. 본 논문에서는 GASLoC이라는 새로운 탈중앙화 사전 학습 알고리즘을 소개합니다. GASLoC은 최근 인기를 얻고 있는 "외부 옵티마이저" 개념에 통신 가속화를 일반화하여, 적응형 옵티마이저와 호환되며, 로컬 옵티마이저 단계를 허용하고, 희소 랜덤 피어 통신을 활용할 수 있는 실용적인 Gossip 기반 학습 프레임워크를 가능하게 합니다. 실험적으로, 여러 표준 LLM 학습 작업에서 GASLoC은 통신 1회당 단일 단계 연산을 사용하는 탈중앙화 알고리즘 중에서 다양한 네트워크 토폴로지에서 최첨단 성능을 능가하는 것을 입증했습니다. 또한 기존의 LLM 환경에서의 탈중앙화 방법과 달리, GASLoC은 여러 개의 로컬 단계를 활용할 때 DiLoCo와 경쟁력 있는 성능을 달성할 수 있습니다. 이질적인 대역폭 환경에서도 GASLoC이 DiLoCo보다 우수한 성능을 보이는 것을 입증했습니다.

Communication-efficient pre-training of LLMs is increasingly important as training draws on compute distributed across clusters, data centers, and lower-bandwidth links. Many practical methods reduce communication frequency but still rely on synchronous All-Reduce operations that maintain identical model states and tie progress to global collectives. This can become a bottleneck when bandwidth or worker speed is heterogeneous. We introduce GASLoC, a novel decentralized pre-training algorithm that generalizes the notion of communication acceleration to the recently popular "outer optimizer" to allow a practical gossip-based training framework that is compatible with adaptive optimizers, allows for local optimizer steps, and can utilize sparse randomized peer communication. Empirically, on a number of standard LLM training tasks, we demonstrate that GASLoC outperforms state-of-the-art decentralized algorithms in single step per communication setting for a number of topologies and, unlike existing decentralized methods in the LLM setting, it allows to obtain performance competitive with DiLoCo when utilizing multiple local steps. In the heterogeneous bandwidth setting we demonstrate the advantage of GASLoC showing that it can significantly outperform DiLoCo.