소스 데이터 없이도 작동하는 도메인 적응을 위한 영역 분할 기반 점진적 학습

Domain-Division based Progressive Learning for Source-Free Domain Adaptation

개인 정보 보호 및 이식성 문제의 심화로 인해, 소스-프리 도메인 적응은 사전 훈련된 소스 모델과 레이블이 없는 대상 도메인만을 사용하여 대상 데이터에 효과적으로 적용할 수 있도록 합니다. 대부분의 기존 자가 학습 방법은 신뢰할 수 있는 예측을 가진 샘플을 선택하고 활용하는 데 중점을 두며, 종종 다른 샘플들을 간과합니다. 딥러닝 모델이 깨끗한 샘플을 노이즈가 많은 샘플보다 빠르게 학습한다는 사실에 착안하여, 우리는 영역 분할 기반의 점진적 학습 방법인 DPL을 제안합니다. 구체적으로, 우리의 접근 방식은 대상 도메인을 적응 용이성에 따라 쉽게 적응 가능한 부분 영역과 어렵게 적응 가능한 부분 영역으로 나누는 것으로 시작하는 두 단계의 교대 과정을 거칩니다. 이어서, 인접 기반의 유사 레이블 할당을 수행합니다. 첫 번째 단계에서는 불확실성을 고려한 자가 학습을 통해 분류 정확도를 향상시키고, 부분 영역 간에 대응되는 클래스를 정렬합니다. 두 번째 단계에서는 각 부분 영역에 맞는 학습 전략을 적용하며, 먼저 쉽게 적응 가능한 샘플에 대해 일관성 학습을 수행하고, 더 어려운 샘플의 경우 로컬 구조 정보를 활용하여 대상 데이터의 내재적 특성을 탐색합니다. 여러 널리 사용되는 벤치마크에서 광범위한 실험을 통해 우리의 접근 방식이 효과적임을 확인했으며, 최첨단 방법보다 우수한 성능을 보여주었습니다. 저희 코드는 https://github.com/iamjingli/DPL 에서 확인할 수 있습니다.

With growing privacy and portability concerns, source-free domain adaptation requires only a source pre-trained model and an unlabeled target domain, allowing for effective adaptation to the target data. Most existing self-training methods focus on selecting and exploiting samples with reliable predictions, often neglecting others. Inspired by the finding that deep models learn clean samples faster than noisy ones, we propose a domain-division based progressive learning method named DPL. Specifically, our approach consists of two alternating stages, each beginning with the division of the target domain into easy-to-adapt and hard-to-adapt subdomains based on adaptation difficulty, followed by neighborhood-based pseudo label assignment. In stage one, we enhance classification accuracy through uncertainty-aware self-training and alignment of corresponding classes between subdomains. Stage two then applies tailored learning strategies to each subdomain, starting with consistency learning on the easy-to-adapt samples and progressing to utilizing local structural information for the more challenging ones, thereby mining the intrinsic properties of the target data. Extensive experiments on several widely used benchmarks validate the effectiveness of our approach, demonstrating superior performance compared to state-of-the-art methods. Our code is available at https://github.com/iamjingli/DPL.