FedProxy: 프록시 SLM 및 이질성 인지 융합을 통한 연합 학습 기반 LLM 미세 조정

FedProxy: Federated Fine-Tuning of LLMs via Proxy SLMs and Heterogeneity-Aware Fusion

대규모 언어 모델(LLM)의 연합 미세 조정은 지적 재산 보호, 클라이언트 개인 정보 보장, 그리고 이기종 데이터에서의 성능 저하라는 세 가지 문제점으로 인해 어려움을 겪고 있습니다. 기존 Offsite-Tuning (OT) 방법은 LLM의 지적 재산을 보호하기 위해 클라이언트가 경량 어댑터만 학습하도록 하지만, 분석 결과 이러한 방법은 근본적인 성능 병목 현상을 가지고 있으며, 중앙 집중식 학습에 비해 상당한 격차가 존재합니다. 이러한 격차를 해소하기 위해 우리는 새로운 연합 적응 프레임워크인 FedProxy를 제안합니다. FedProxy는 약한 어댑터를 대신하여 독점 LLM에서 압축된 강력하고 통합적인 프록시 소규모 언어 모델(SLM)을 사용하여 협업 미세 조정에 적합한 고정밀 대체 모델 역할을 수행합니다. 우리의 프레임워크는 세 단계 아키텍처를 통해 이 세 가지 문제를 체계적으로 해결합니다: (i) 서버 기반 압축을 통한 효율적인 표현으로 리소스 친화적인 프록시 생성; (ii) 데이터 이질성을 처리하기 위한 간섭 완화 집계 전략을 통한 강력한 최적화; 그리고 (iii) 학습이 필요 없는

Federated fine-tuning of Large Language Models (LLMs) is obstructed by a trilemma of challenges: protecting LLMs intellectual property (IP), ensuring client privacy, and mitigating performance loss on heterogeneous data. Existing methods like Offsite-Tuning (OT) secure the LLMs IP by having clients train only lightweight adapters, yet our analysis reveals they suffer from a fundamental performance bottleneck, leaving a significant gap compared to centralized training. To bridge this gap, we introduce FedProxy, a new federated adaptation framework. FedProxy replaces weak adapters with a unified, powerful Proxy Small Language Model (SLM), compressed from the proprietary LLM, to serve as a high-fidelity surrogate for collaborative fine-tuning. Our framework systematically resolves the trilemma through a three-stage architecture: (i) Efficient Representation via server-guided compression to create a resource-friendly proxy; (ii) Robust Optimization through an interference-mitigating aggregation strategy to handle data heterogeneity; and (iii) Effortless Fusion via a training-free "plug-in" mechanism to integrate learned knowledge back into the LLM. Experiments show FedProxy significantly outperforms OT methods and approaches centralized performance, establishing a new benchmark for secure and high-performance federated LLM adaptation.