CAAP: 획득 환경 인지적 적대적 패치 공격을 이용한 손바닥 인식 모델 공격

CAAP: Capture-Aware Adversarial Patch Attacks on Palmprint Recognition Models

손바닥 인식 기술은 비접촉 방식으로 획득이 가능하며, 뚜렷한 능선 및 주름 패턴을 가지고 있어 접근 제어 및 손바닥 기반 결제와 같은 보안이 중요한 분야에서 활용됩니다. 그러나, 물리적으로 구현 가능한 공격에 대한 딥러닝 손바닥 인식 시스템의 견고성은 아직 충분히 연구되지 않았습니다. 기존 연구들은 주로 디지털 환경에 국한되어 있으며, 손바닥 인식의 질감 기반 특성 또는 물리적 획득 과정에서 발생하는 왜곡을 충분히 고려하지 못합니다. 이러한 격차를 해소하기 위해, 본 연구에서는 획득 환경을 고려한 적대적 패치 공격 프레임워크인 CAAP를 제안합니다. CAAP는 다양한 입력에 재사용될 수 있는 범용 패치를 학습하며, 현실적인 획득 환경 변화에서도 효과를 유지합니다. 손바닥의 구조적 특징을 반영하기 위해, CAAP는 십자형 패치 토폴로지를 채택하여, 고정된 픽셀 예산 내에서 공간적 범위를 넓히고, 장거리 질감 연속성을 더욱 효과적으로 파괴합니다. CAAP는 입력 조건에 따른 패치 렌더링을 위한 ASIT, 확률적 획득 환경 시뮬레이션을 위한 RaS, 그리고 특징 수준에서의 공격 유도 설계를 위한 MS-DIFE의 세 가지 모듈을 통합합니다. CAAP는 Tongji, IITD 및 AISEC 데이터셋을 사용하여 일반 CNN 기반 모델과 손바닥 인식 특화 모델에 대한 성능을 평가했습니다. 실험 결과, CAAP는 강력한 비표적 및 표적 공격 성능을 보이며, 모델 및 데이터셋 간의 높은 일반화 성능을 나타냅니다. 또한, 적대적 훈련이 공격 성공률을 부분적으로 감소시키지만, 여전히 상당한 취약점이 존재한다는 것을 확인했습니다. 이러한 결과는 딥러닝 손바닥 인식 시스템이 물리적으로 구현 가능한, 획득 환경을 고려한 적대적 패치 공격에 취약하며, 실제 환경에서 더욱 효과적인 방어 기술이 필요하다는 것을 시사합니다. 코드: https://github.com/ryliu68/CAAP

Palmprint recognition is deployed in security-critical applications, including access control and palm-based payment, due to its contactless acquisition and highly discriminative ridge-and-crease textures. However, the robustness of deep palmprint recognition systems against physically realizable attacks remains insufficiently understood. Existing studies are largely confined to the digital setting and do not adequately account for the texture-dominant nature of palmprint recognition or the distortions introduced during physical acquisition. To address this gap, we propose CAAP, a capture-aware adversarial patch framework for palmprint recognition. CAAP learns a universal patch that can be reused across inputs while remaining effective under realistic acquisition variation. To match the structural characteristics of palmprints, the framework adopts a cross-shaped patch topology, which enlarges spatial coverage under a fixed pixel budget and more effectively disrupts long-range texture continuity. CAAP further integrates three modules: ASIT for input-conditioned patch rendering, RaS for stochastic capture-aware simulation, and MS-DIFE for feature-level identity-disruptive guidance. We evaluate CAAP on the Tongji, IITD, and AISEC datasets against generic CNN backbones and palmprint-specific recognition models. Experiments show that CAAP achieves strong untargeted and targeted attack performance with favorable cross-model and cross-dataset transferability. The results further show that, although adversarial training can partially reduce the attack success rate, substantial residual vulnerability remains. These findings indicate that deep palmprint recognition systems remain vulnerable to physically realizable, capture-aware adversarial patch attacks, underscoring the need for more effective defenses in practice. Code available at https://github.com/ryliu68/CAAP.