HELM: 그래프 학습을 활용한 계층적 및 명시적 레이블 모델링을 통한 멀티 레이블 이미지 분류

HELM: Hierarchical and Explicit Label Modeling with Graph Learning for Multi-Label Image Classification

계층적 멀티 레이블 분류(HMLC)는 원격 감지 분야에서 복잡한 레이블 간의 의존성을 모델링하는 데 필수적입니다. 기존 방법들은 여러 경로를 가진 계층 구조, 즉 인스턴스가 여러 분기에 속하는 경우에 어려움을 겪으며, 또한 레이블이 없는 데이터를 활용하는 데 한계가 있습니다. 본 논문에서는 이러한 한계점을 극복하는 새로운 프레임워크인 HELM(Hierarchical and Explicit Label Modeling)을 소개합니다. HELM은 (i) 비전 트랜스포머 내에서 계층 구조에 특화된 클래스 토큰을 사용하여 미묘한 레이블 상호 작용을 포착하고, (ii) 그래프 컨볼루션 네트워크를 사용하여 계층 구조를 명시적으로 인코딩하고 계층 구조를 고려한 임베딩을 생성하며, (iii) 자기 지도 학습 방식을 통합하여 레이블이 없는 이미지를 효과적으로 활용합니다. 우리는 UCM, AID, DFC-15, MLRSNet의 네 가지 원격 감지 이미지(RSI) 데이터셋에 대한 종합적인 평가를 수행했습니다. HELM은 지도 학습 및 준지도 학습 환경 모두에서 강력한 기본 모델보다 뛰어난 최첨단 성능을 달성했으며, 특히 레이블이 부족한 시나리오에서 뛰어난 성능을 보였습니다.

Hierarchical multi-label classification (HMLC) is essential for modeling complex label dependencies in remote sensing. Existing methods, however, struggle with multi-path hierarchies where instances belong to multiple branches, and they rarely exploit unlabeled data. We introduce HELM (\textit{Hierarchical and Explicit Label Modeling}), a novel framework that overcomes these limitations. HELM: (i) uses hierarchy-specific class tokens within a Vision Transformer to capture nuanced label interactions; (ii) employs graph convolutional networks to explicitly encode the hierarchical structure and generate hierarchy-aware embeddings; and (iii) integrates a self-supervised branch to effectively leverage unlabeled imagery. We perform a comprehensive evaluation on four remote sensing image (RSI) datasets (UCM, AID, DFC-15, MLRSNet). HELM achieves state-of-the-art performance, consistently outperforming strong baselines in both supervised and semi-supervised settings, demonstrating particular strength in low-label scenarios.