조합적 시각 관계를 위한 증강된 이상 감지 대비 학습을 이용한 예측 추론

Predictive Reasoning with Augmented Anomaly Contrastive Learning for Compositional Visual Relations

단순한 유추에 대한 시각적 추론은 많은 관심을 받았지만, 복잡성으로 인해 조합적 시각 관계(CVR)는 상대적으로 연구가 부족합니다. CVR 문제를 해결하기 위해, 우리는 증강된 이상 감지 대비 학습(PR-A$^2$CL)을 이용한 예측 추론 방법을 제안합니다. 이는 동일한 조합 규칙을 따르는 세 개의 이미지와 함께 주어진 이상 이미지(outlier)를 식별하는 것을 목표로 합니다. 풍부한 조합 규칙을 모델링하는 데 어려움이 있음을 감안하여, 증강된 이상 감지 대비 학습은 정상 인스턴스 간의 유사성을 최대화하고 정상 및 이상 아웃라이어 간의 유사성을 최소화하여, 구분력이 뛰어나고 일반화 가능한 특징을 추출하도록 설계되었습니다. 더욱 중요하게는, 규칙 기반 추론을 위한 예측-검증 패러다임을 도입했습니다. 이 패러다임에서, 예측 이상 추론 블록(PARB)의 시퀀스는 네 개의 이미지 중 세 개에서 추출된 특징을 반복적으로 사용하여 나머지 하나의 이미지의 특징을 예측합니다. 후속 검증 단계에서, PARB는 기본 규칙에 기인하는 특정 불일치를 점진적으로 식별합니다. SVRT, CVR 및 MC$^2$R 데이터 세트에 대한 실험 결과는 PR-A$^2$CL이 최첨단 추론 모델보다 훨씬 뛰어난 성능을 보임을 보여줍니다.

While visual reasoning for simple analogies has received significant attention, compositional visual relations (CVR) remain relatively unexplored due to their greater complexity. To solve CVR tasks, we propose Predictive Reasoning with Augmented Anomaly Contrastive Learning (PR-A$^2$CL), \ie, to identify an outlier image given three other images that follow the same compositional rules. To address the challenge of modelling abundant compositional rules, an Augmented Anomaly Contrastive Learning is designed to distil discriminative and generalizable features by maximizing similarity among normal instances while minimizing similarity between normal and anomalous outliers. More importantly, a predict-and-verify paradigm is introduced for rule-based reasoning, in which a series of Predictive Anomaly Reasoning Blocks (PARBs) iteratively leverage features from three out of the four images to predict those of the remaining one. Throughout the subsequent verification stage, the PARBs progressively pinpoint the specific discrepancies attributable to the underlying rules. Experimental results on SVRT, CVR and MC$^2$R datasets show that PR-A$^2$CL significantly outperforms state-of-the-art reasoning models.