MANATEE: LLM을 위한 추론 단계의 경량 디퓨전 기반 안전 방어

MANATEE: Inference-Time Lightweight Diffusion Based Safety Defense for LLMs

적대적 탈옥 공격으로부터 LLM을 방어하는 것은 여전히 미해결 과제로 남아 있습니다. 기존의 방어 기법들은 적대적 입력이 학습된 결정 경계를 벗어날 경우 실패하는 이진 분류기에 의존하며, 반복적인 미세 조정은 계산 비용이 많이 들 뿐만 아니라 모델의 성능을 저하시킬 잠재적 위험이 있습니다. 본 논문에서는 정상적인 표현 매니폴드에 대한 밀도 추정을 활용하는 추론 단계 방어 기법인 MANATEE를 제안합니다. MANATEE는 정상적인 은닉 상태의 스코어 함수를 학습하고 디퓨전을 사용하여 비정상적인 표현을 안전한 영역으로 투영시키며, 이 과정에서 유해한 학습 데이터나 모델 아키텍처의 변경이 요구되지 않습니다. Mistral-7B-Instruct, Llama-3.1-8B-Instruct 및 Gemma-2-9B-it에 대한 실험 결과, MANATEE는 정상적인 입력에 대한 모델의 유용성을 유지하면서도 특정 데이터셋에서 공격 성공률을 최대 100%까지 감소시키는 것을 입증했습니다.

Defending LLMs against adversarial jailbreak attacks remains an open challenge. Existing defenses rely on binary classifiers that fail when adversarial input falls outside the learned decision boundary, and repeated fine-tuning is computationally expensive while potentially degrading model capabilities. We propose MANATEE, an inference-time defense that uses density estimation over a benign representation manifold. MANATEE learns the score function of benign hidden states and uses diffusion to project anomalous representations toward safe regions--requiring no harmful training data and no architectural modifications. Experiments across Mistral-7B-Instruct, Llama-3.1-8B-Instruct, and Gemma-2-9B-it demonstrate that MANATEE reduce Attack Success Rate by up to 100\% on certain datasets, while preserving model utility on benign inputs.