이미지 변환기(Vision Transformers)의 적대적 학습에서의 긍정적인 과적합

Benign Overfitting in Adversarial Training for Vision Transformers

이미지 변환기(ViT)가 다양한 시각 작업에서 괄목할 만한 성공을 거두었음에도 불구하고, 최근 연구에서는 ViT가 여전히 합성곱 신경망(CNN)과 마찬가지로 적대적 예제에 취약하다는 사실이 밝혀졌습니다. 일반적인 실증적 방어 전략은 적대적 학습이지만, ViT에서 적대적 학습의 견고성에 대한 이론적 기반은 아직 거의 탐구되지 않았습니다. 본 연구에서는 단순화된 ViT 아키텍처 하에서 적대적 학습에 대한 최초의 이론적 분석을 제시합니다. 특정 조건과 적절한 노이즈 비율, 그리고 제한된 교란 범위 내에서 학습할 때, 적대적 학습을 통해 ViT는 거의 0에 가까운 견고한 학습 손실과 특정 조건 하에서 견고한 일반화 오류를 달성할 수 있음을 보여줍니다. 주목할 만한 점은, 이는 과적합 현상이 존재하는 상황에서도 강력한 일반화를 가능하게 하며, 이는 CNN에서 적대적 학습을 통해 관찰되었던 extit{긍정적인 과적합} 현상과 유사합니다. 합성 데이터 세트와 실제 데이터 세트 모두에서 수행된 실험은 우리의 이론적 결과를 뒷받침합니다.

Despite the remarkable success of Vision Transformers (ViTs) across a wide range of vision tasks, recent studies have revealed that they remain vulnerable to adversarial examples, much like Convolutional Neural Networks (CNNs). A common empirical defense strategy is adversarial training, yet the theoretical underpinnings of its robustness in ViTs remain largely unexplored. In this work, we present the first theoretical analysis of adversarial training under simplified ViT architectures. We show that, when trained under a signal-to-noise ratio that satisfies a certain condition and within a moderate perturbation budget, adversarial training enables ViTs to achieve nearly zero robust training loss and robust generalization error under certain regimes. Remarkably, this leads to strong generalization even in the presence of overfitting, a phenomenon known as \emph{benign overfitting}, previously only observed in CNNs (with adversarial training). Experiments on both synthetic and real-world datasets further validate our theoretical findings.