SPARD: 관련성-다양성을 고려한 데이터 선택을 통한 안전 투영으로 유해한 파인튜닝 공격 방어

SPARD: Defending Harmful Fine-Tuning Attack via Safety Projection with Relevance-Diversity Data Selection

대규모 언어 모델의 파인튜닝은 종종 안전 정렬 기능을 저하시키며, 특히 적대적인 데이터를 사용하여 안전 장치를 제거하고 위험한 행동을 유발하는 유해한 파인튜닝 공격으로 인해 이러한 문제가 더욱 심화됩니다. 본 연구에서는 안전 투영(Safety Projection)과 관련성-다양성을 고려한 데이터 선택을 통합한 방어 프레임워크인 SPARD를 제안합니다. SPARD는 SPAG라는 방법을 사용하며, 이는 유용성 업데이트와 안전 제약 조건을 강화하기 위한 명시적인 안전 투영 사이에서 번갈아 최적화를 수행합니다. 안전한 데이터를 선별하기 위해, 우리는 작업 관련성과 안전성을 균형 있게 고려하여 간결한 안전 데이터 세트를 선택하는 관련성-다양성 결정점 과정(Relevance-Diversity Determinantal Point Process)을 도입했습니다. GSM8K 및 OpenBookQA 데이터셋에 대한 네 가지 유해한 파인튜닝 공격 실험 결과, SPARD는 일관되게 가장 낮은 평균 공격 성공률을 달성했으며, 이는 최첨단 방어 방법보다 현저히 우수한 성능입니다. 또한 높은 작업 정확도를 유지합니다. 코드: https://github.com/shuhao02/SPARD

Fine-tuning large language models often undermines their safety alignment, a problem further amplified by harmful fine-tuning attacks in which adversarial data removes safeguards and induces unsafe behaviors. We propose SPARD, a defense framework that integrates Safety-Projected Alternating optimization with Relevance-Diversity aware data selection. SPARD employs SPAG, which optimizes alternatively between utility updates and explicit safety projections with a set of safe data to enforce safety constraints. To curate safe data, we introduce a Relevance-Diversity Determinantal Point Process to select compact safe data, balancing task relevance and safety coverage. Experiments on GSM8K and OpenBookQA under four harmful fine-tuning attacks demonstrate that SPARD consistently achieves the lowest average attack success rates, substantially outperforming state-of-the-art defense methods, while maintaining high task accuracy. Code is available at https://github.com/shuhao02/SPARD.