작업 중심의 개인 맞춤형 연합 미세 조정: 언어 모델

Task-Centric Personalized Federated Fine-Tuning of Language Models

연합 학습(FL)은 다양한 작업에 대한 분산되고 개인 정보가 보호된 데이터 세트에서 언어 모델을 훈련하는 유망한 기술로 부상했습니다. 그러나 이질적인 작업에 대해 훈련된 모델을 통합하면 종종 개별 클라이언트의 전반적인 성능이 저하됩니다. 이러한 문제를 해결하기 위해 개인 맞춤형 연합 학습(pFL)은 각 클라이언트의 데이터 분포에 맞춰진 모델을 생성하는 것을 목표로 합니다. 이러한 접근 방식은 로컬 성능을 향상시키지만, 일반적으로 다음과 같은 두 가지 측면에서 강건성이 부족합니다. (i) 일반화 능력: 클라이언트가 새로운 작업에 대한 예측을 수행하거나 데이터 분포가 변경될 때, (ii) 클라이언트 내부 작업 간의 간섭: 단일 클라이언트의 데이터에 여러 분포가 포함되어 있어 로컬 훈련 중에 서로 간섭할 수 있습니다. 이러한 두 가지 과제에 대처하기 위해, 우리는 각 클라이언트가 아닌 각 작업에 대한 특수 모델을 구축하는 클러스터링 기반의 개인 맞춤형 연합 학습 방법인 FedRouter를 제안합니다. FedRouter는 어댑터를 사용하여 두 가지 클러스터링 메커니즘을 활용하여 어댑터를 특정 작업과 연결함으로써 모델을 개인화합니다. 로컬 클러스터링은 어댑터를 작업 데이터 샘플과 연결하고, 글로벌 클러스터링은 다른 클라이언트에서 유사한 어댑터를 연결하여 작업 중심의 개인 맞춤형 모델을 구성합니다. 또한, 생성된 클러스터를 기반으로 최적의 어댑터로 테스트 샘플을 라우팅하는 평가 라우터 메커니즘을 제안합니다. 멀티태스크 데이터 세트에서 기존 접근 방식과 비교한 실험 결과, FedRouter는 어려운 시나리오에서 뛰어난 강건성을 보여주었으며, 작업 간섭 상황에서는 최대 6.1% 상대적으로 더 나은 성능을, 일반화 평가에서는 최대 136%의 상대적인 성능 향상을 보였습니다.

Federated Learning (FL) has emerged as a promising technique for training language models on distributed and private datasets of diverse tasks. However, aggregating models trained on heterogeneous tasks often degrades the overall performance of individual clients. To address this issue, Personalized FL (pFL) aims to create models tailored for each client's data distribution. Although these approaches improve local performance, they usually lack robustness in two aspects: (i) generalization: when clients must make predictions on unseen tasks, or face changes in their data distributions, and (ii) intra-client tasks interference: when a single client's data contains multiple distributions that may interfere with each other during local training. To tackle these two challenges, we propose FedRouter, a clustering-based pFL that builds specialized models for each task rather than for each client. FedRouter uses adapters to personalize models by employing two clustering mechanisms to associate adapters with specific tasks. A local clustering that associate adapters with task data samples and a global one that associates similar adapters from different clients to construct task-centric personalized models. Additionally, we propose an evaluation router mechanism that routes test samples to the best adapter based on the created clusters. Experiments comparing our method with existing approaches across a multitask dataset, FedRouter demonstrate strong resilience in these challenging scenarios performing up to 6.1% relatively better under tasks interference and up to 136% relative improvement under generalization evaluation.