SimpleMatch: 의미적 대응을 위한 단순하고 강력한 기본 모델

SimpleMatch: A Simple and Strong Baseline for Semantic Correspondence

최근 의미적 대응 분야의 발전은 대부분 사전 학습된 대규모 모델의 활용에 힘입어 이루어졌습니다. 그러나 이러한 방법들의 한계점은 최적의 성능을 달성하기 위해 고해상도 입력 이미지가 필요하며, 이는 상당한 계산 비용을 발생시킨다는 것입니다. 본 연구에서는 현재 방법들의 근본적인 한계점인, 심층 다운샘플링 연산으로 인해 발생하는 인접 키포인트 특징의 불가역적인 융합 문제를 해결하고자 합니다. 이 문제는 의미적으로 구별되는 키포인트들이 동일한 다운샘플링 수용 영역(예: 16x16 패치) 내에 위치할 때 발생합니다. 이 문제를 해결하기 위해, 우리는 저해상도에서도 강력한 성능을 제공하는 단순하면서도 효과적인 의미적 대응 프레임워크인 SimpleMatch를 제안합니다. 우리는 심층 특징을 1/4 해상도로 업샘플링하여 점진적으로 공간 정보를 복원하는 경량 업샘플 원본 복원기를 제안하고, 업샘플링된 특징이 다양한 공간 규모에서 차별적인 특징을 유지하도록 보장하는 멀티 스케일 감독 손실을 사용합니다. 또한, 학습 메모리 사용량을 최적화하고 51%까지 줄이기 위해 희소 매칭과 윈도우 기반 지역화 기법을 도입했습니다. SimpleMatch는 현재 최고 성능 모델보다 3.3배 낮은 해상도인 252x252에서 SPair-71k 벤치마크에서 84.1%의 PCK@0.1 점수를 달성하며 우수한 성능을 보였습니다. 우리는 이 프레임워크가 의미적 대응 분야의 향후 연구를 위한 실용적이고 효율적인 기본 모델을 제공할 것이라고 믿습니다. 코드: https://github.com/hailong23-jin/SimpleMatch

Recent advances in semantic correspondence have been largely driven by the use of pre-trained large-scale models. However, a limitation of these approaches is their dependence on high-resolution input images to achieve optimal performance, which results in considerable computational overhead. In this work, we address a fundamental limitation in current methods: the irreversible fusion of adjacent keypoint features caused by deep downsampling operations. This issue is triggered when semantically distinct keypoints fall within the same downsampled receptive field (e.g., 16x16 patches). To address this issue, we present SimpleMatch, a simple yet effective framework for semantic correspondence that delivers strong performance even at low resolutions. We propose a lightweight upsample decoder that progressively recovers spatial detail by upsampling deep features to 1/4 resolution, and a multi-scale supervised loss that ensures the upsampled features retain discriminative features across different spatial scales. In addition, we introduce sparse matching and window-based localization to optimize training memory usage and reduce it by 51%. At a resolution of 252x252 (3.3x smaller than current SOTA methods), SimpleMatch achieves superior performance with 84.1% PCK@0.1 on the SPair-71k benchmark. We believe this framework provides a practical and efficient baseline for future research in semantic correspondence. Code is available at: https://github.com/hailong23-jin/SimpleMatch.