Z-PEFT: 매개변수 효율적인 미세 조정 모델에서 Canonical Spectral Signatures를 이용한 제로샷 백도어 탐지

Z-PEFT: Zero-shot Backdoor Detection in Parameter-Efficient Fine-Tuning via Canonical Spectral Signatures

매개변수 효율적인 미세 조정(PEFT) 모델은 실무자들이 종종 공개 저장소에서 다운로드합니다. 이러한 광범위한 사용은 공격 표면을 크게 증가시키는데, 악의적인 사용자가 특정 트리거에 반응하여 특정 동작을 유발하는 백도어 모델을 게시할 수 있기 때문입니다. 본 연구는 가중치 공간 기반 백도어 탐지 문제를 다루며, 탐지 분류기가 모델의 가중치만을 사용하여 해당 모델이 악성인지 여부를 예측함으로써 경량화된 안전 메커니즘을 제공합니다. 대부분의 기존 방법은 닫힌 환경에서 설계 및 평가되며, 여기서 탐지기는 동일한 공격 유형에 대해 학습하고 테스트됩니다. 이에 반해, 본 연구는 이전에 볼 수 없었던 공격과 데이터셋을 포함하는 새로운 조건에서 백도어 탐지를 평가합니다. 우리는 레이어별 스펙트럴 측정을 기반으로 분류를 수행하는 경량화된 메타 분류기인 Z-PEFT를 제안합니다. 실험 결과, 닫힌 환경에서의 높은 성능이 반드시 제로샷 백도어 탐지에서도 높은 정확도를 보장하지는 않는다는 것을 보여줍니다. 가중치 공간 기반 탐지기 중에서 Z-PEFT는 가장 우수한 성능을 보이면서 낮은 계산 비용과 확장성을 유지합니다.

Parameter-Efficient Fine-tuned (PEFT) models are frequently downloaded from open repositories by practitioners. This widespread practice creates a significant attack surface, as malicious actors can publish backdoored models that induce specific behaviors in response to predefined triggers. We study the problem of weight-space backdoor detection, where a detector classifier predicts whether a model is malicious using only its weights, enabling a lightweight safety mechanism. Most existing methods are designed and evaluated in a closed-world setting, where the detector is trained and tested on the same attack type. In contrast, we evaluate backdoor detection under novel conditions, including previously unseen attacks and datasets. We propose Z-PEFT, a lightweight meta-classifier that relies exclusively on layer-wise spectral measures for classification. Our experiments show that strong performance in the closed-world setting does not necessarily translate to high accuracy in zero-shot backdoor detection. Among weight-space detectors, Z-PEFT achieves the best performance while maintaining low and scalable computational cost.