DeepAFL: 심층 분석 기반 연합 학습

DeepAFL: Deep Analytic Federated Learning

연합 학습(FL)은 데이터 사일로를 해소하기 위한 널리 사용되는 분산 학습 패러다임입니다. 기존의 연합 학습 방법은 주로 기울기 기반 업데이트에 의존하며, 이로 인해 이질성, 확장성, 수렴성 및 오버헤드 등의 심각한 문제가 발생합니다. 최근에는 이러한 문제들을 해결하기 위해 기울기 기반 업데이트를 제거하고 분석적인(즉, 폐쇄형) 솔루션을 사용하는 분석 학습 기반 연구들이 시도되었습니다. 이러한 접근 방식은 데이터 이질성에 대한 뛰어난 불변성을 달성하지만, 기본적으로 고정된 사전 훈련된 백본을 가진 단일 레이어 선형 모델에 의해 제한됩니다. 그 결과, 표현 학습 능력 부족으로 인해 최적 이하의 성능을 보입니다. 본 논문에서는 연합 학습을 위한 이상적인 데이터 이질성에 대한 불변성을 유지하면서 표현 가능한 분석 모델을 구현하기 위해, Deep Analytic Federated Learning(DeepAFL)이라는 새로운 접근 방식을 제안합니다. 기울기 기반 학습에서 ResNet의 성공에 영감을 받아, DeepAFL에서 분석적인 솔루션을 갖는 기울기 없는 잔차 블록을 설계했습니다. 우리는 최소 제곱법을 사용하여 연합 학습 환경에서 층별로 심층 분석 모델을 효율적으로 학습할 수 있는 층별 프로토콜을 도입했습니다. 이론적 분석과 실증적 평가를 통해 DeepAFL이 이질성 불변성과 표현 학습이라는 두 가지 장점을 모두 갖추고 있으며, 세 개의 벤치마크 데이터 세트에서 최첨단 기준 성능보다 최대 5.68%에서 8.42%까지 우수한 성능을 보임을 확인했습니다.

Federated Learning (FL) is a popular distributed learning paradigm to break down data silo. Traditional FL approaches largely rely on gradient-based updates, facing significant issues about heterogeneity, scalability, convergence, and overhead, etc. Recently, some analytic-learning-based work has attempted to handle these issues by eliminating gradient-based updates via analytical (i.e., closed-form) solutions. Despite achieving superior invariance to data heterogeneity, these approaches are fundamentally limited by their single-layer linear model with a frozen pre-trained backbone. As a result, they can only achieve suboptimal performance due to their lack of representation learning capabilities. In this paper, to enable representable analytic models while preserving the ideal invariance to data heterogeneity for FL, we propose our Deep Analytic Federated Learning approach, named DeepAFL. Drawing inspiration from the great success of ResNet in gradient-based learning, we design gradient-free residual blocks in our DeepAFL with analytical solutions. We introduce an efficient layer-wise protocol for training our deep analytic models layer by layer in FL through least squares. Both theoretical analyses and empirical evaluations validate our DeepAFL's superior performance with its dual advantages in heterogeneity invariance and representation learning, outperforming state-of-the-art baselines by up to 5.68%-8.42% across three benchmark datasets.