특징 공간 생성 모델을 이용한 원-샷 클래스 점진적 학습

Feature-Space Generative Models for One-Shot Class-Incremental Learning

적은 수의 샘플(few-shot)로 새로운 클래스를 학습하는 클래스 점진적 학습(FSCIL)은 모델이 초기 학습 데이터셋(기존 클래스)을 기반으로, 제한된 데이터만으로 새로운 클래스를 인식하며 문제 공간을 확장해야 하는 패러다임입니다. 본 논문에서는, 모델이 각 새로운 클래스에 대해 단 하나의 샘플(1-shot)만 제공받고, 초기 학습 단계 이후에는 추가적인 학습 또는 모델 수정이 허용되지 않는 어려운 FSCIL 환경에 초점을 맞춥니다. 이러한 환경은 새로운 클래스로의 일반화 능력을 더욱 어렵게 만듭니다. 본 연구에서는, 기존 클래스와 새로운 클래스의 임베딩이 구조적 유사성을 가진다는 가설을 바탕으로 새로운 접근 방식을 제안합니다. 입력 샘플의 클래스 프로토타입(즉, 평균 클래스 임베딩)을 빼서 원래 임베딩 공간을 잔차 공간으로 매핑합니다. 그런 다음, VAE 또는 확산 모델을 사용하여 기존 클래스에 대한 잔차의 다중 모드 분포를 학습하고, 이를 새로운 클래스 인식 성능을 향상시키는 중요한 구조적 사전 지식으로 활용합니다. 제안하는 Gen1S 방법은 다양한 벤치마크 및 백본 아키텍처에서 최첨단 기술보다 우수한 새로운 클래스 인식 성능을 지속적으로 보여줍니다.

Few-shot class-incremental learning (FSCIL) is a paradigm where a model, initially trained on a dataset of base classes, must adapt to an expanding problem space by recognizing novel classes with limited data. We focus on the challenging FSCIL setup where a model receives only a single sample (1-shot) for each novel class and no further training or model alterations are allowed after the base training phase. This makes generalization to novel classes particularly difficult. We propose a novel approach predicated on the hypothesis that base and novel class embeddings have structural similarity. We map the original embedding space into a residual space by subtracting the class prototype (i.e., the average class embedding) of input samples. Then, we leverage generative modeling with VAE or diffusion models to learn the multi-modal distribution of residuals over the base classes, and we use this as a valuable structural prior to improve recognition of novel classes. Our approach, Gen1S, consistently improves novel class recognition over the state of the art across multiple benchmarks and backbone architectures.