정보 이론 기반 적대적 훈련을 통한 대규모 언어 모델 강화

Information Theoretic Adversarial Training of Large Language Models

대규모 언어 모델(LLM)은 정렬 및 안전성 향상에도 불구하고 여전히 적대적 프롬프트에 취약하며, 새로운 공격 전략 하에서 유해한 행동을 보이는 경우가 많습니다. 적대적 훈련은 모델의 견고성을 향상시킬 수 있지만, 기존 방법은 계산 비용이 많이 들고 확장하기 어렵습니다. 최근의 연속적 적대적 훈련 방법(예: Continuous Adversarial Training (CAT) 및 Continuous Adversarial Preference Optimization (CAPO))은 임베딩 공간에서의 기울기 기반 섭동을 활용하여 이러한 문제를 해결하고, 보다 효율적이고 표현력이 뛰어난 공격을 가능하게 합니다. 본 연구에서는 이러한 패러다임을 바탕으로, LLM을 위한 분포적으로 강건한 적대적 훈련 프레임워크인 WARDEN을 제안합니다. WARDEN은 경험적 훈련 분포를 중심으로 하는 f-다이버전스 불확실성 집합을 통해 적대적 예제를 동적으로 재가중합니다. 저희 방법은 경험적 데이터 분포 주변의 다이버전스 볼 내에서 최악의 경우 적대적 손실을 최적화하며, 이를 통해 더 어려운 적대적 예제를 자동으로 강조합니다. 볼록 쌍대 형식을 활용하여, KL 다이버전스 하에서 목적 함수는 log-sum-exp 형태로 감소하며, 동적인 매개변수가 재가중치의 강도를 제어합니다. 본 연구는 공격 성공률을 크게 줄이면서 모델의 유용성을 유지하는 새로운 유형의 정보 이론 기반 목적 함수를 제시합니다. 여러 LLM과 공격 환경에서 WARDEN은 공격 성공률을 현저히 감소시키며, 계산 비용과 유용성 측면에서 CAT, CAPO 및 MixAT 기반의 기존 방법과 유사한 성능을 보입니다. 따라서 WARDEN은 확장 가능한 강건한 정렬을 위한 실용적인 접근 방식입니다.

Large language models (LLMs) remain vulnerable to adversarial prompting despite advances in alignment and safety, often exhibiting harmful behaviors under novel attack strategies. While adversarial training can improve robustness, existing approaches are computationally expensive and difficult to scale. Recent continuous adversarial training methods, such as Continuous adversarial training (CAT) and Continuous Adversarial Preference Optimization (CAPO), address this challenge by leveraging gradient-based perturbations in the embedding space, enabling more efficient and expressive attacks. Building on this paradigm, we propose WARDEN, a distributionally robust adversarial training framework for LLMs that dynamically reweights adversarial examples through an f -divergence ambiguity set around the empirical training distribution. Our method optimizes the worst-case adversarial loss within a divergence ball around the empirical data distribution, automatically emphasizing harder adversarial examples. Using the convex dual formulation, the objective reduces to a log-sum-exp form under the KL divergence, with a dynamical parameter controlling the strength of reweighting. This study leads to a new class of information-theoretic objectives that significantly reduce attack success rates while maintaining model utility. Across multiple LLMs and attack settings, WARDEN substantially reduces attack success rates with computational and utility costs comparable to CAT-, CAPO-, and MixAT-based baselines, making it a practical approach for scalable robust alignment.