FedBCD: 연합 학습을 위한 통신 효율성을 높인 가속 블록 좌표 경사 하강법

FedBCD:Communication-Efficient Accelerated Block Coordinate Gradient Descent for Federated Learning

최근 연합 학습이 널리 연구되어 왔지만, 비전 트랜스포머와 같은 대규모 모델의 경우 여전히 각 통신 라운드마다 높은 오버헤드가 발생합니다. 이러한 통신 복잡성을 줄이기 위해, 우리는 통신 효율성을 높이는 새로운 연합 블록 좌표 경사 하강법(FedBCGD) 방법을 제안합니다. 제안된 방법은 모델 파라미터를 공유 블록을 포함한 여러 블록으로 나누고, 각 클라이언트가 특정 파라미터 블록을 업로드하도록 하여 통신 오버헤드를 크게 줄일 수 있습니다. 또한, 클라이언트 드리프트 제어 및 확률적 분산 감소 기능을 갖춘 가속된 FedBCGD 알고리즘(FedBCGD+)을 개발했습니다. 저희 연구가 대규모 딥 모델 학습을 위한 파라미터 블록 통신에 대한 최초의 연구 결과임을 밝힙니다. 제안된 알고리즘에 대한 수렴 분석도 제공합니다. 우리의 이론적 결과는 제안된 알고리즘의 통신 복잡성이 기존 방법보다 $1/N$만큼 낮으며, 수렴 속도가 훨씬 빠름을 보여줍니다. 실험 결과는 제안된 알고리즘이 최첨단 알고리즘보다 우수함을 나타냅니다. 코드: https://github.com/junkangLiu0/FedBCGD

Although Federated Learning has been widely studied in recent years, there are still high overhead expenses in each communication round for large-scale models such as Vision Transformer. To lower the communication complexity, we propose a novel Federated Block Coordinate Gradient Descent (FedBCGD) method for communication efficiency. The proposed method splits model parameters into several blocks, including a shared block and enables uploading a specific parameter block by each client, which can significantly reduce communication overhead. Moreover, we also develop an accelerated FedBCGD algorithm (called FedBCGD+) with client drift control and stochastic variance reduction. To the best of our knowledge, this paper is the first work on parameter block communication for training large-scale deep models. We also provide the convergence analysis for the proposed algorithms. Our theoretical results show that the communication complexities of our algorithms are a factor $1/N$ lower than those of existing methods, where $N$ is the number of parameter blocks, and they enjoy much faster convergence than their counterparts. Empirical results indicate the superiority of the proposed algorithms compared to state-of-the-art algorithms. The code is available at https://github.com/junkangLiu0/FedBCGD.