소수의 모델로 다수의 개인화 연합 학습

Few-for-Many Personalized Federated Learning

개인화 연합 학습(Personalized Federated Learning, PFL)은 데이터 분포가 매우 다른 클라이언트에 대해 맞춤형 모델을 학습하면서 데이터 프라이버시를 보호하는 것을 목표로 합니다. 기존 접근 방식은 종종 클러스터링 또는 모델 보간과 같은 휴리스틱에 의존하는데, 이는 다양한 클라이언트의 목표를 균형 있게 조정하기 위한 체계적인 메커니즘이 부족합니다. 서로 다른 데이터 분포를 가진 $M$명의 클라이언트에 서비스를 제공하는 것은 본질적으로 다중 목적 최적화 문제이며, 최적의 개인화를 달성하기 위해서는 이상적으로 파레토 프론트 상에 $M$개의 서로 다른 모델이 필요합니다. 그러나 연합 환경에서 수백 또는 수천 명의 클라이언트를 대상으로 할 때 $M$개의 별도 모델을 유지하는 것은 상당한 확장성 문제를 야기합니다. 이러한 문제를 해결하기 위해, 우리는 PFL을 $K$개의 공유 서버 모델(단, $K ext{ } M$)을 사용하여 모든 $M$명의 클라이언트에 서비스를 제공하는 '소수의 모델로 다수 서비스' 최적화 문제로 재구성합니다. 우리는 이 프레임워크가 거의 최적의 개인화를 달성함을 증명합니다. 즉, $K$가 증가함에 따라 근사 오차가 감소하며, 데이터가 증가함에 따라 각 클라이언트의 모델이 각 클라이언트의 최적점에 수렴합니다. 이러한 재구성을 바탕으로, 우리는 $K$개의 서버 모델을 효율적인 경사 기반 업데이트를 통해 공동으로 최적화하는 실용적인 알고리즘인 FedFew를 제안합니다. FedFew는 클러스터링 기반 접근 방식처럼 수동 클라이언트 파티셔닝이 필요하거나, 보간 기반 방법처럼 세심한 하이퍼파라미터 튜닝이 필요한 반면, 최적화 과정을 통해 모델 다양성을 자동으로 발견합니다. 컴퓨터 비전, 자연어 처리 및 실제 의료 영상 데이터 세트에서 수행한 실험 결과, FedFew는 단 3개의 모델만으로도 다른 최첨단 접근 방식보다 일관되게 우수한 성능을 보였습니다. 코드: https://github.com/pgg3/FedFew

Personalized Federated Learning (PFL) aims to train customized models for clients with highly heterogeneous data distributions while preserving data privacy. Existing approaches often rely on heuristics like clustering or model interpolation, which lack principled mechanisms for balancing heterogeneous client objectives. Serving $M$ clients with distinct data distributions is inherently a multi-objective optimization problem, where achieving optimal personalization ideally requires $M$ distinct models on the Pareto front. However, maintaining $M$ separate models poses significant scalability challenges in federated settings with hundreds or thousands of clients. To address this challenge, we reformulate PFL as a few-for-many optimization problem that maintains only $K$ shared server models ($K \ll M$) to collectively serve all $M$ clients. We prove that this framework achieves near-optimal personalization: the approximation error diminishes as $K$ increases and each client's model converges to each client's optimum as data grows. Building on this reformulation, we propose FedFew, a practical algorithm that jointly optimizes the $K$ server models through efficient gradient-based updates. Unlike clustering-based approaches that require manual client partitioning or interpolation-based methods that demand careful hyperparameter tuning, FedFew automatically discovers the optimal model diversity through its optimization process. Experiments across vision, NLP, and real-world medical imaging datasets demonstrate that FedFew, with just 3 models, consistently outperforms other state-of-the-art approaches. Code is available at https://github.com/pgg3/FedFew.