활성화 맵 설명 기반 얼굴 재식별 시스템에 대한 AI 회피 및 위장 공격

AI Evasion and Impersonation Attacks on Facial Re-Identification with Activation Map Explanations

얼굴 인식 시스템은 감시 시스템에 점점 더 많이 사용되고 있지만, 이러한 시스템이 적대적 회피 및 위장 공격에 취약하다는 점은 심각한 위험을 초래합니다. 본 논문에서는 겹치지 않는 여러 카메라 환경에서 딥 재식별 모델에 대한 회피 및 위장 공격을 모두 수행할 수 있는 적대적 패치 생성에 대한 새로운 프레임워크를 소개합니다. 기존 방식과는 달리, 각 대상에 대해 반복적인 패치 최적화를 수행하는 대신, 본 연구에서는 조건부 인코더-디코더 네트워크를 사용하여 소스 및 대상 이미지의 다중 스케일 특징을 기반으로 단일 순방향 패스에서 적대적 패치를 생성합니다. 생성된 패치는 pull 및 push 항을 포함하는 이중 적대적 목표를 사용하여 최적화됩니다. 또한, 패치의 가시성을 줄이고 실제 적용을 돕기 위해, 사전 학습된 잠재 확산 모델을 사용하여 자연스러운 패치를 생성합니다. 표준 보행자 데이터셋(Market-1501, DukeMTMCreID) 및 얼굴 인식 벤치마크 데이터셋(CelebA-HQ, PubFig)에 대한 실험 결과, 제안된 방법의 효과를 입증했습니다. 제안된 적대적 회피 공격은 white-box 환경에서 평균 정밀도를 90%에서 0.4%로, black-box 환경에서 72%에서 0.4%로 감소시켰으며, 이는 강력한 모델 간 일반화 성능을 보여줍니다. 대상 위장 공격에서는, CelebA-HQ 데이터셋에서 27%의 성공률을 달성하여 다른 패치 기반 방법과 경쟁합니다. 또한, 활성화 맵 클러스터링을 사용하여 적대적 공격이 사용하는 특징을 해석하고, 향후 대응 방안을 제시합니다. 이러한 결과는 검색 기반 시스템에 대한 적대적 패치 공격의 실용성을 강조하며, 강력한 방어 전략의 시급한 필요성을 강조합니다.

Facial identification systems are increasingly deployed in surveillance and yet their vulnerability to adversarial evasion and impersonation attacks pose a critical risk. This paper introduces a novel framework for generating adversarial patches capable of both evasion and impersonation attacks against deep re-identification models across non-overlapping cameras. Unlike prior approaches that require iterative patch optimisation for each target, our method employs a conditional encoder-decoder network to synthesize adversarial patches in a single forward pass, guided by multi-scale features from source and target images. The patches are optimised with a dual adversarial objective comprising of pull and push terms. To enhance imperceptibility and aid physical deployment, we further integrate naturalistic patch generation using pre-trained latent diffusion models. Experiments on standard pedestrian (Market-1501, DukeMTMCreID) and facial recognition benchmarks (CelebA-HQ, PubFig) datasets demonstrate the effectiveness of the proposed method. Our adversarial evasion attacks reduce mean Average Precision from 90% to 0.4% in white-box settings and from 72% to 0.4% in black-box settings, showing strong cross-model generalization. In targeted impersonation attacks, our framework achieves a success rate of 27% on CelebA-HQ, competing with other patch-based methods. We go further to use clustering of activation maps to interpret which features are most used by adversarial attacks and propose a pathway for future countermeasures. The results highlight the practicality of adversarial patch attacks on retrieval-based systems and underline the urgent need for robust defense strategies.