어댑터 기반 연합 대규모 언어 모델로부터 훈련 데이터 재구성

Reconstructing Training Data from Adapter-based Federated Large Language Models

어댑터 기반 연합 대규모 언어 모델(FedLLMs)은 웹 규모 애플리케이션에서 전체 파라미터를 미세 조정할 때 발생하는 계산, 저장 및 통신 오버헤드를 줄이면서 사용자 프라이버시를 보호하기 위해 널리 사용됩니다. 백본을 고정하고 작고 낮은 순위의 어댑터만 훈련함으로써 이러한 방법은 기울기 누출을 제한하고 기존 기울기 역전 공격(GIAs)을 방해하는 것으로 보입니다. 그러나 이러한 가정과는 달리, 우리는 낮은 순위 어댑터가 새로운, 악용 가능한 누출 채널을 생성한다는 것을 보여줍니다. 우리는 어댑터 기반 FedLLMs의 고유한 구조에 맞게 설계된 새로운 GIA인 Unordered-word-bag-based Text Reconstruction (UTR) 공격을 제안합니다. UTR은 다음과 같은 세 가지 핵심 과제(낮은 차원의 기울기, 고정된 백본, 조합적으로 큰 재구성 공간)를 극복합니다. (i) 고정된 레이어의 어텐션 패턴에서 토큰 존재를 추론하고, (ii) 어댑터 기울기의 낮은 순위 부분 공간 내에서 문장 수준의 역전을 수행하며, (iii) 언어 사전 지식을 기반으로 제약된 탐욕적 디코딩을 통해 의미적 일관성을 강화합니다. GPT2-Large, BERT, Qwen2.5-7B와 같은 다양한 모델과 CoLA, SST-2, Rotten Tomatoes와 같은 데이터 세트에서 수행한 광범위한 실험 결과, UTR은 큰 배치 크기 설정에서도 기존 GIA가 완전히 실패하는 경우에도 거의 완벽한 재구성 정확도(ROUGE-1/2 > 99)를 달성합니다. 우리의 결과는 FedLLMs에서 파라미터 효율성과 프라이버시 사이의 근본적인 긴장을 드러내며, 경량화된 적응이 본질적으로 보안을 향상시킨다는 통념에 도전합니다. 우리의 코드와 데이터는 https://github.com/shwksnshwowk-wq/GIA 에서 확인할 수 있습니다.

Adapter-based Federated Large Language Models (FedLLMs) are widely adopted to reduce the computational, storage, and communication overhead of full-parameter fine-tuning for web-scale applications while preserving user privacy. By freezing the backbone and training only compact low-rank adapters, these methods appear to limit gradient leakage and thwart existing Gradient Inversion Attacks (GIAs). Contrary to this assumption, we show that low-rank adapters create new, exploitable leakage channels. We propose the Unordered-word-bag-based Text Reconstruction (UTR) attack, a novel GIA tailored to the unique structure of adapter-based FedLLMs. UTR overcomes three core challenges: low-dimensional gradients, frozen backbones, and combinatorially large reconstruction spaces by: (i) inferring token presence from attention patterns in frozen layers, (ii) performing sentence-level inversion within the low-rank subspace of adapter gradients, and (iii) enforcing semantic coherence through constrained greedy decoding guided by language priors. Extensive experiments across diverse models (GPT2-Large, BERT, Qwen2.5-7B) and datasets (CoLA, SST-2, Rotten Tomatoes) demonstrate that UTR achieves near-perfect reconstruction accuracy (ROUGE-1/2 > 99), even with large batch size settings where prior GIAs fail completely. Our results reveal a fundamental tension between parameter efficiency and privacy in FedLLMs, challenging the prevailing belief that lightweight adaptation inherently enhances security. Our code and data are available at https://github.com/shwksnshwowk-wq/GIA.