FedOBP: 클라우드-엣지 요소별 분리를 통한 연합 최적 뇌 개인화

FedOBP: Federated Optimal Brain Personalization through Cloud-Edge Element-wise Decoupling

연합 학습(FL)은 클라이언트 데이터의 이질성 및 리소스 제약적인 모바일 장치로 인해 모델 정확도가 저하될 수 있는 문제를 안고 있습니다. 개인화된 연합 학습(PFL)은 공유된 전역 지식을 로컬 데이터 분포에 맞게 조정하여 이러한 문제를 해결합니다. PFL의 유망한 접근 방식 중 하나는 모델 분리(model decoupling)로, 모델을 전역 파라미터와 개인화된 파라미터로 분리하며, 전역 지식 공유와 로컬 적응 사이의 균형을 맞추기 위해 어떤 파라미터를 개인화해야 하는지가 핵심 질문입니다. 본 논문에서는 분위수 기반 임계값 메커니즘과 요소별 중요도 점수를 갖는 연합 최적 뇌 개인화(FedOBP) 알고리즘을 제안합니다. 이 점수는 최적 뇌 손상(OBD) 가지치기 이론을 확장하여, 각 파라미터의 개인화에 대한 중요도를 평가하기 위해 테일러 전개에서 연합 근사 1차 미분값을 포함합니다. 또한, 원래 클라이언트 측에서 수행되던 메트릭 계산을 서버 측으로 이동시켜, 리소스 제약적인 모바일 장치의 부담을 줄였습니다. 현재까지 알려진 바로는, 본 논문은 고전적인 민감도 기반 가지치기 이론과 연합 파라미터 분리를 연결하는 최초의 연구이며, 로컬 손실 공간에 대한 민감도에 따라 개인화된 파라미터를 선택하는 것에 대한 엄격한 이론적 근거를 제공합니다. 광범위한 실험 결과는 FedOBP가 다양한 데이터셋 및 이질성 시나리오에서 최첨단 방법보다 우수한 성능을 보이며, 동시에 매우 적은 수의 개인화된 파라미터만 필요로 함을 보여줍니다.

Federated Learning (FL) faces challenges from client data heterogeneity and resource-constrained mobile devices, which can degrade model accuracy. Personalized Federated Learning (PFL) addresses this issue by adapting shared global knowledge to local data distributions. A promising approach in PFL is model decoupling, which separates the model into global and personalized parameters, raising the key question of which parameters should be personalized to balance global knowledge sharing and local adaptation. In this paper, we propose a Federated Optimal Brain Personalization (FedOBP) algorithm with a quantile-based thresholding mechanism and introduce an element-wise importance score. This score extends Optimal Brain Damage (OBD) pruning theory by incorporating a federated approximation of the first-order derivative in the Taylor expansion to evaluate the importance of each parameter for personalization. Moreover, we move the metric computation originally performed on clients to the server side, to alleviate the burden on resource-constrained mobile devices. To the best of our knowledge, this is the first work to bridge classical saliency-based pruning theory with federated parameter decoupling, providing a rigorous theoretical justification for selecting personalized parameters based on their sensitivity to local loss landscapes. Extensive experiments demonstrate that FedOBP outperforms state-of-the-art methods across diverse datasets and heterogeneity scenarios, while requiring personalization of only a very small number of personalized parameters.