LoRA 어댑터 내 백도어 탐지를 위한 가중치 공간 분석

Weight space Detection of Backdoors in LoRA Adapters

LoRA 어댑터는 사용자가 대규모 언어 모델(LLM)을 효율적으로 미세 조정할 수 있도록 합니다. 그러나 LoRA 어댑터는 Hugging Face Hub와 같은 공개 저장소를 통해 공유되므로, 백도어 공격에 취약할 수 있습니다. 현재의 탐지 방법은 모델을 테스트 데이터와 함께 실행해야 하므로, 백도어 동작을 유발하는 트리거가 알려지지 않은 수천 개의 어댑터를 검사하는 데는 비실용적입니다. 저희는 모델을 실행하지 않고 어댑터의 가중치 행렬을 직접 분석하여 악성 어댑터를 탐지합니다. 저희 방법은 특이값의 집중도, 엔트로피, 분포 형태와 같은 간단한 통계값을 추출하고, 정상 패턴에서 벗어나는 어댑터를 식별합니다. 저희는 Llama-3.2-3B 모델의 instruction 및 reasoning 데이터셋(Alpaca, Dolly, GSM8K, ARC-Challenge, SQuADv2, NaturalQuestions, HumanEval, GLUE)을 사용하여 500개의 LoRA 어댑터(400개는 정상, 100개는 악성)에 대해 이 방법을 평가했습니다. 그 결과, 저희는 97%의 탐지 정확도를 달성했으며, 오탐율은 2% 미만입니다.

LoRA adapters let users fine-tune large language models (LLMs) efficiently. However, LoRA adapters are shared through open repositories like Hugging Face Hub \citep{huggingface_hub_docs}, making them vulnerable to backdoor attacks. Current detection methods require running the model with test input data -- making them impractical for screening thousands of adapters where the trigger for backdoor behavior is unknown. We detect poisoned adapters by analyzing their weight matrices directly, without running the model -- making our method data-agnostic. Our method extracts simple statistics -- how concentrated the singular values are, their entropy, and the distribution shape -- and flags adapters that deviate from normal patterns. We evaluate the method on 500 LoRA adapters -- 400 clean, and 100 poisoned for Llama-3.2-3B on instruction and reasoning datasets: Alpaca, Dolly, GSM8K, ARC-Challenge, SQuADv2, NaturalQuestions, HumanEval, and GLUE dataset. We achieve 97\% detection accuracy with less than 2\% false positives.