SDFLoRA: 개인 정보 보호를 위한 이기종 클라이언트 기반 미세 조정: 선택적 분리형 연합 LoRA

SDFLoRA: Selective Decoupled Federated LoRA for Privacy-preserving Fine-tuning with Heterogeneous Clients

대규모 언어 모델(LLM)을 위한 연합 학습(FL)은 분산 데이터에 대한 모델을 개인 정보 보호 방식으로 조정하는 접근 방식으로, 통신 및 메모리 비용을 줄이기 위해 로우 랭크 어댑테이션(LoRA)과 같은 매개변수 효율적인 방법이 널리 사용되고 있습니다. 그러나 실제 배포에서는 종종 랭크와 데이터의 이질성이 나타나는데, 클라이언트는 서로 다른 로우 랭크 예산을 가지고 있으며 데이터 분포 또한 다릅니다. 이는 LoRA 업데이트의 직접적인 통합을 편향시키고 불안정하게 만듭니다. 기존 방법은 통일된 랭크를 강제하거나 이질적인 업데이트를 단일 공유 부분 공간으로 정렬하는데, 이는 전송 가능한 방향과 클라이언트별 방향을 혼합하여 개인화를 저해하는 경향이 있습니다. 또한, 차등 프라이버시(DP) 환경에서 이러한 구조적으로 혼합된 업데이트에 노이즈를 추가하면 순전히 로컬이어야 하는 방향에 노이즈가 주입되어 불필요한 유틸리티 저하를 초래합니다. 이러한 문제를 해결하기 위해, 우리는 각 클라이언트 업데이트를 집계에 사용되는 공유 구성 요소와 클라이언트별 의미를 보존하는 개인 구성 요소로 분리하는 구조 인식 LoRA 프레임워크인 선택적 분리형 연합 LoRA(SDFLoRA)를 제안합니다. 공유 구성 요소만 부분 공간 정렬에 참여하고, 개인 구성 요소는 로컬 상태로 유지되며 통신되지 않아 학습을 DP와 호환 가능하게 만들고 랭크 이질성 하에서 집계의 안정성을 높입니다. 이 접근 방식은 집계되는 공유 업데이트에만 노이즈를 추가하여 로컬 방향에 대한 간섭을 피하고 유틸리티-프라이버시 균형을 개선합니다. 여러 벤치마크에서의 실험 결과는 SDFLoRA가 기존 연합 LoRA 방법보다 우수한 성능을 보이며 강력한 유틸리티-프라이버시 균형을 달성함을 보여줍니다.

Federated learning (FL) for large language models (LLMs) has attracted increasing attention as a privacy-preserving approach for adapting models over distributed data, where parameter-efficient methods such as Low-Rank Adaptation (LoRA) are widely adopted to reduce communication and memory costs. However, practical deployments often exhibit rank and data heterogeneity: clients operate under different low-rank budgets and data distributions, making direct aggregation of LoRA updates biased and unstable. Existing approaches either enforce a unified rank or align heterogeneous updates into a single shared subspace, which tends to mix transferable and client-specific directions and consequently undermines personalization. Moreover, under differential privacy (DP), perturbing such structurally mixed updates injects noise into directions that should remain purely local, leading to unnecessary utility degradation. To address these issues, we propose Selective Decoupled Federated LoRA (SDFLoRA), a structure-aware LoRA framework that decouples each client update into a shared component for aggregation and a private component that preserves client-specific semantics. Only the shared component participates in subspace alignment, while the private component remains local and uncommunicated, making the training DP-compatible and stabilizing aggregation under rank heterogeneity. By injecting noise only into the aggregated shareable update, this approach avoids perturbations to local directions and improves the utility-privacy trade-off. Experiments on multiple benchmarks demonstrate that SDFLoRA outperforms federated LoRA baselines and achieves a strong utility-privacy trade-off.