FedPSA: 비동기 연합 학습에서의 행동적 노후화 모델링

FedPSA: Modeling Behavioral Staleness in Asynchronous Federated Learning

비동기 연합 학습(AFL)은 최근 몇 년 동안 중요한 연구 분야로 부상했습니다. AFL은 느린 클라이언트를 기다리지 않고 훈련 과정을 동시에 실행하여 기존 연합 학습보다 빠른 훈련 속도를 달성합니다. 그러나 비동기 프로세스로 인해 발생하는 노후화로 인해 특정 시나리오에서 성능이 저하될 수 있습니다. 기존 방법은 현재 모델과 글로벌 모델 간의 라운드 차이를 노후화의 유일한 지표로 사용하는데, 이는 세분화되지 않으며 모델 자체에 대한 관찰이 부족하여 비동기 방법의 성능 한계를 초래합니다. 본 논문에서는 모델의 노후화를 측정하기 위해 파라미터 민감도를 활용하고, 현재 훈련 단계를 실시간으로 평가하기 위해 동적 모멘텀 큐를 구축하여 오래된 정보에 대한 허용치를 동적으로 조정하는 보다 세분화된 AFL 프레임워크인 FedPSA(Parameter Sensitivity-based Asynchronous Federated Learning)를 제안합니다. 다양한 데이터 세트에서의 광범위한 실험과 다양한 방법과의 비교를 통해 FedPSA가 기준 방법보다 최대 6.37% 향상된 성능을 보이며, 현재 최고 성능 방법을 능가하는 1.93%의 성능 향상을 달성함을 보여줍니다.

Asynchronous Federated Learning (AFL) has emerged as a significant research area in recent years. By not waiting for slower clients and executing the training process concurrently, it achieves faster training speed compared to traditional federated learning. However, due to the staleness introduced by the asynchronous process, its performance may degrade in some scenarios. Existing methods often use the round difference between the current model and the global model as the sole measure of staleness, which is coarse-grained and lacks observation of the model itself, thereby limiting the performance ceiling of asynchronous methods. In this paper, we propose FedPSA (Parameter Sensitivity-based Asynchronous Federated Learning), a more fine-grained AFL framework that leverages parameter sensitivity to measure model obsolescence and establishes a dynamic momentum queue to assess the current training phase in real time, thereby adjusting the tolerance for outdated information dynamically. Extensive experiments on multiple datasets and comparisons with various methods demonstrate the superior performance of FedPSA, achieving up to 6.37\% improvement over baseline methods and 1.93\% over the current state-of-the-art method.