대규모 모델의 프라이버시 보존 연합 학습을 위한 LoRA 재고

Rethinking LoRA for Privacy-Preserving Federated Learning in Large Models

차등 프라이버시 연합 학습(DPFL) 환경에서 대형 비전 모델(LVM)과 대형 언어 모델(LLM)을 미세 조정하는 것은 근본적인 프라이버시-유용성 상충관계로 인해 방해를 받는다. 유망한 매개변수 효율적 미세 조정(PEFT) 기법인 LoRA(Low-Rank Adaptation)는 사전 학습된 가중치를 고정하는 동시에 학습 가능한 두 개의 저랭크(low-rank) 행렬을 도입함으로써 연산 및 통신 비용을 절감한다. 그러나 DPFL 환경에 LoRA를 직접 적용하면 특히 LVM에서 성능 저하가 발생한다. 본 연구의 분석은 기존에 충분히 다뤄지지 않은 세 가지 문제를 밝혀낸다: (1) 두 개의 비대칭 저랭크 행렬이 동시에 업데이트되어 발생하는 그래디언트 결합(gradient coupling), (2) 차등 프라이버시 하에서의 복합적 노이즈 증폭, (3) 파라미터 공간 내 전역 집계 모델(global aggregated model)의 예리함(sharpness). 이러한 문제를 해결하기 위해, 우리는 그래디언트 상호작용을 분리하고 클라이언트 간 업데이트 방향을 정렬하여 엄격한 프라이버시 제약 조건 하에서 강건성을 향상시키는 새로운 접근 방식인 LA-LoRA(\textbf{L}ocal \textbf{A}lternating \textbf{LoRA})를 제안한다. 이론적으로 LA-LoRA는 노이즈가 존재하는 연합 학습 환경에서 수렴 보장을 강화한다. 광범위한 실험 결과, LA-LoRA는 Swin Transformer 및 RoBERTa 모델에서 최고 수준(SOTA)의 성능을 달성했으며, DP 노이즈에 대한 강건성과 LVM 및 LLM 모두에 대한 폭넓은 적용성을 입증했다. 예를 들어, 엄격한 프라이버시 예산($ε= 1$) 하의 Tiny-ImageNet 데이터셋에서 Swin-B 모델을 미세 조정할 때, LA-LoRA는 최고 성능의 베이스라인인 RoLoRA보다 테스트 정확도 면에서 16.83\% 우수한 성능을 보였다. 코드는 \repolink 에 제공된다.

Fine-tuning large vision models (LVMs) and large language models (LLMs) under differentially private federated learning (DPFL) is hindered by a fundamental privacy-utility trade-off. Low-Rank Adaptation (LoRA), a promising parameter-efficient fine-tuning (PEFT) method, reduces computational and communication costs by introducing two trainable low-rank matrices while freezing pre-trained weights. However, directly applying LoRA in DPFL settings leads to performance degradation, especially in LVMs. Our analysis reveals three previously underexplored challenges: (1) gradient coupling caused by the simultaneous update of two asymmetric low-rank matrices, (2) compounded noise amplification under differential privacy, and (3) sharpness of the global aggregated model in the parameter space. To address these issues, we propose LA-LoRA (\textbf{L}ocal \textbf{A}lternating \textbf{LoRA}), a novel approach that decouples gradient interactions and aligns update directions across clients to enhance robustness under stringent privacy constraints. Theoretically, LA-LoRA strengthens convergence guarantees in noisy federated environments. Extensive experiments demonstrate that LA-LoRA achieves state-of-the-art (SOTA) performance on Swin Transformer and RoBERTa models, showcasing robustness to DP noise and broad applicability across both LVMs and LLMs. For example, when fine-tuning the Swin-B model on the Tiny-ImageNet dataset under a strict privacy budget ($ε= 1$), LA-LoRA outperforms the best baseline, RoLoRA, by 16.83\% in test accuracy. Code is provided in \repolink.