PoInit-of-View: 다중 3D 재구성 시스템 간 전이 가능한 뷰 초기화 공격

PoInit-of-View: Poisoning Initialization of Views Transfers Across Multiple 3D Reconstruction Systems

최근 3D 재구성 시스템의 입력 뷰를 공격하는 연구가 진행되어 왔습니다. 그러나 기존 연구는 3D 재구성 파이프라인 전체를 통해 적대적 기울기를 역전파하는 방식으로, 3D 재구성 파이프라인의 특정 모듈에 내재된 새로운 취약점을 제대로 파악하지 못했습니다. 본 논문에서는 구조-모션(SfM) 초기화가 널리 사용되는 많은 재구성 시스템의 핵심적인 부분으로서, 다양한 3D 재구성 시스템에 걸쳐 전이 가능한 공격 효과를 달성하기 위한 표적이 될 수 있다고 주장합니다. 이를 위해, 우리는 PoInit-of-View를 제안합니다. 이는 해당 3D 점의 투영에서 의도적으로 교차 뷰 기울기 불일치를 도입하도록 적대적 섭동을 최적화합니다. 이러한 불일치는 주요점 검출 및 특징 매칭을 방해하여 SfM 내의 자세 추정 및 삼각 측량을 손상시키고, 결과적으로 저품질의 렌더링된 뷰를 생성합니다. 또한, 교차 뷰 불일치와 대응 관계 붕괴 간의 연관성을 설명하는 이론적 분석을 제공합니다. 실험 결과는 PoInit-of-View가 다양한 3D 재구성 시스템 및 데이터셋에서 효과적임을 보여주며, 3DGS에서 NeRF와 같은 블랙박스 전이 설정에서 PSNR에서 25.1%, SSIM에서 16.5% 향상된 성능을 보였습니다.

Poisoning input views of 3D reconstruction systems has been recently studied. However, we identify that existing studies simply backpropagate adversarial gradients through the 3D reconstruction pipeline as a whole, without uncovering the new vulnerability rooted in specific modules of the 3D reconstruction pipeline. In this paper, we argue that the structure-from-motion (SfM) initialization, as the geometric core of many widely used reconstruction systems, can be targeted to achieve transferable poisoning effects across diverse 3D reconstruction systems. To this end, we propose PoInit-of-View, which optimizes adversarial perturbations to intentionally introduce cross-view gradient inconsistencies at projections of corresponding 3D points. These inconsistencies disrupt keypoint detection and feature matching, thereby corrupting pose estimation and triangulation within SfM, eventually resulting in low-quality rendered views. We also provide a theoretical analysis that connects cross-view inconsistency to correspondence collapse. Experimental results demonstrate the effectiveness of our PoInit-of-View on diverse 3D reconstruction systems and datasets, surpassing the single-view baseline by 25.1% in PSNR and 16.5% in SSIM in black-box transfer settings, such as 3DGS to NeRF.