범주 수준 협력 지식 탐색을 통한 적응형 개방형 객체 탐지

Towards Adaptive Open-Set Object Detection via Category-Level Collaboration Knowledge Mining

기존 객체 탐지 모델은 종종 도메인 간 일반화에 어려움을 겪으며, 새로운 범주에 적응하는 데 한계가 있습니다. 적응형 개방형 객체 탐지(AOOD)는 소스 도메인의 기본 범주를 사용하여 학습하고, 타겟 도메인의 기본 범주와 새로운 범주에 모두 적응하는 기술로, 타겟 도메인에 대한 어노테이션 없이 이를 수행합니다. 그러나 현재 AOOD 방법은 여전히 약한 도메인 간 표현, 새로운 범주 간의 모호성, 그리고 소스 도메인 특징 편향이라는 한계점을 가지고 있습니다. 이러한 문제점을 해결하기 위해, 우리는 도메인 간의 클래스 간 및 클래스 내 관계를 활용하는 범주 수준 협력 지식 탐색 전략을 제안합니다. 구체적으로, 우리는 클래스 프로토타입, 보조 특징 및 클래스 내 다양성 정보를 인코딩하는 클러스터링 기반 메모리 뱅크를 구축하고, 비지도 클러스터링을 통해 반복적으로 업데이트하여 범주 수준 지식 표현을 향상시킵니다. 또한, 소스 도메인의 새로운 범주와 관련된 특징을 발견하고 이를 사용하여 새로운 범주 분류기를 초기화하는 기본-새로운 범주 선택 메트릭을 설계했습니다. 더욱이, 적응형 특징 할당 전략은 학습된 범주 수준 지식을 타겟 도메인으로 전달하고, 메모리 뱅크를 비동기적으로 업데이트하여 소스 도메인 편향을 완화합니다. 여러 벤치마크에서 수행된 광범위한 실험 결과, 제안하는 방법은 현재 최고 성능의 AOOD 방법보다 1.1~5.5 mAP의 성능 향상을 보였습니다.

Existing object detectors often struggle to generalize across domains while adapting to emerging novel categories. Adaptive open-set object detection (AOOD) addresses this challenge by training on base categories in the source domain and adapting to both base and novel categories in the target domain without target annotations. However, current AOOD methods remain limited by weak cross-domain representations, ambiguity among novel categories, and source-domain feature bias. To address these issues, we propose a category-level collaboration knowledge mining strategy that exploits both inter-class and intra-class relationships across domains. Specifically, we construct a clustering-based memory bank to encode class prototypes, auxiliary features, and intra-class disparity information, and iteratively update it via unsupervised clustering to enhance category-level knowledge representation. We further design a base-to-novel selection metric to discover source-domain features related to novel categories and use them to initialize novel-category classifiers. In addition, an adaptive feature assignment strategy transfers the learned category-level knowledge to the target domain and asynchronously updates the memory bank to alleviate source-domain bias. Extensive experiments on multiple benchmarks show that our method consistently surpasses state-of-the-art AOOD methods by 1.1-5.5 mAP.