FedMomentum: 연합 미세 조정 시 LoRA 학습 모멘텀 보존

FedMomentum: Preserving LoRA Training Momentum in Federated Fine-Tuning

저랭크 적응(LoRA)을 사용한 대규모 언어 모델(LLM)의 연합 미세 조정은 작업별 적응을 위한 통신 효율적이고 개인 정보 보호 솔루션을 제공합니다. LoRA 모듈의 단순한 집계는 다운샘플링 및 업샘플링 행렬을 독립적으로 평균화할 때 발생하는 수학적 오류로 인해 노이즈를 유발합니다. 그러나 기존의 노이즈 없는 집계 전략은 불가피하게 LoRA의 구조적 표현력을 손상시키며, 부적절한 저랭크 구조 재구성 또는 부분적으로 훈련 가능한 구성 요소의 제외를 통해 클라이언트별 적응을 유지하는 능력을 제한합니다. 우리는 이 문제를 '학습 모멘텀 손실'로 정의하며, 이는 LoRA 업데이트가 여러 라운드에 걸쳐 효과적으로 누적되지 않아 수렴 속도가 느려지고 성능이 최적이 되지 않는 현상입니다. 이를 해결하기 위해, 우리는 특이값 분해(SVD)를 통해 구조적이고 모멘텀을 보존하는 LoRA 집계를 가능하게 하는 새로운 프레임워크인 FedMomentum을 제안합니다. 구체적으로, FedMomentum은 저랭크 업데이트를 수학적으로 올바르게 집계한 후, 주된 업데이트 방향을 포착하는 주요 구성 요소를 추출하기 위해 SVD를 적용합니다. 이러한 구성 요소는 동일한 랭크로 LoRA 모듈을 재구성하는 데 사용되며, 나머지 구성 요소는 의미 정보를 보존하고 견고성을 확보하기 위해 백본에 유지되고 나중에 병합될 수 있습니다. 다양한 작업에 대한 광범위한 실험 결과, FedMomentum은 수렴 속도 및 최종 정확도 측면에서 기존 최고 성능 방법을 지속적으로 능가하는 것으로 나타났습니다.

Federated fine-tuning of large language models (LLMs) with low-rank adaptation (LoRA) offers a communication-efficient and privacy-preserving solution for task-specific adaptation. Naive aggregation of LoRA modules introduces noise due to mathematical incorrectness when averaging the downsampling and upsampling matrices independently. However, existing noise-free aggregation strategies inevitably compromise the structural expressiveness of LoRA, limiting its ability to retain client-specific adaptations by either improperly reconstructing the low-rank structure or excluding partially trainable components. We identify this problem as loss of training momentum, where LoRA updates fail to accumulate effectively across rounds, resulting in slower convergence and suboptimal performance. To address this, we propose FedMomentum, a novel framework that enables structured and momentum-preserving LoRA aggregation via singular value decomposition (SVD). Specifically, after aggregating low-rank updates in a mathematically correct manner, FedMomentum applies SVD to extract the dominant components that capture the main update directions. These components are used to reconstruct the LoRA modules with the same rank, while residual components can be retained and later merged into the backbone to preserve semantic information and ensure robustness. Extensive experiments across multiple tasks demonstrate that FedMomentum consistently outperforms prior state-of-the-art methods in convergence speed and final accuracy.