클라이언트 이질성이 존재하는 연합 저랭크 적응(FedLoRA)에서 랭크 붕괴 방지

Preventing Rank Collapse in Federated Low-Rank Adaptation with Client Heterogeneity

연합 저랭크 적응(FedLoRA)은 통신 효율적이고 개인 정보 보호 기능이 있는 방식으로, 기초 모델을 하위 작업에 맞게 미세 조정하는 데 활용됩니다. 실제 연합 학습 시나리오에서, 시스템 리소스와 데이터 분포의 클라이언트 이질성은 클라이언트마다 다른 저랭크 값을 사용하도록 유도합니다. 본 연구에서는 이질적인 FedLoRA에서 간과되어 왔던 현상인 '랭크 붕괴'를 밝혀냈습니다. 랭크 붕괴는 글로벌 업데이트의 에너지가 최소 공유 랭크에 집중되어 최적의 성능을 달성하지 못하고 랭크 구성에 매우 민감하게 반응하는 현상입니다. 이론적 분석을 통해 랭크 붕괴의 근본 원인이 랭크에 독립적인 집계 가중치와 랭크에 의존적인 클라이언트 기여도 간의 불일치이며, 이로 인해 훈련 과정을 거칠수록 높은 랭크 업데이트가 기하급수적으로 억제된다는 것을 밝혀냈습니다. 이러한 통찰력을 바탕으로, 본 연구에서는 로컬 업데이트를 랭크 파티션으로 분해하고, 각 파티션을 효과적인 클라이언트 기여도에 따라 가중하여 집계하는 랭크 파티션 집계 방법인 raFLoRA를 제안합니다. 분류 및 추론 작업에 대한 광범위한 실험 결과, raFLoRA는 랭크 붕괴를 방지하고, 모델 성능을 향상시키며, 최첨단 FedLoRA 모델과 비교하여 통신 효율성을 유지한다는 것을 보여줍니다.

Federated low-rank adaptation (FedLoRA) has facilitated communication-efficient and privacy-preserving fine-tuning of foundation models for downstream tasks. In practical federated learning scenarios, client heterogeneity in system resources and data distributions motivates heterogeneous LoRA ranks across clients. We identify a previously overlooked phenomenon in heterogeneous FedLoRA, termed rank collapse, where the energy of the global update concentrates on the minimum shared rank, resulting in suboptimal performance and high sensitivity to rank configurations. Through theoretical analysis, we reveal the root cause of rank collapse: a mismatch between rank-agnostic aggregation weights and rank-dependent client contributions, which systematically suppresses higher-rank updates at a geometric rate over rounds. Motivated by this insight, we propose raFLoRA, a rank-partitioned aggregation method that decomposes local updates into rank partitions and then aggregates each partition weighted by its effective client contributions. Extensive experiments across classification and reasoning tasks show that raFLoRA prevents rank collapse, improves model performance, and preserves communication efficiency compared to state-of-the-art FedLoRA baselines.