생성적 공동 기억 정규화를 이용한 소량 데이터 클래스 증분 학습

Few-shot Class-Incremental Learning via Generative Co-Memory Regularization

소량 데이터 클래스 증분 학습(FSCIL)은 적은 양의 새로운 데이터로부터 모델을 점진적으로 학습하는 것을 목표로 하며, 이는 소량의 예시 데이터에 대한 감독 학습 하에서 학습된 모델이 기존 클래스에 대한 재앙적 망각을 방지하고 새로운 클래스에 대한 과적합을 피할 수 있도록 강력한 표현 능력과 적응 능력을 요구합니다. 본 연구에서는 FSCIL을 용이하게 하기 위한 생성적 공동 기억 정규화 방법을 제안합니다. 제안하는 방법은 기본 학습 단계에서, 사전 학습된 생성형 인코더를 소량의 기본 클래스 예시에 대해 튜닝하며, 이 과정에서 특징 재구성을 위한 마스크 자동 인코더(MAE) 디코더와 특징 분류를 위한 완전 연결 분류기를 함께 활용하여 모델이 일반적이고 적응 가능한 표현을 효율적으로 학습하도록 합니다. 튜닝된 인코더와 학습된 분류기를 사용하여 두 가지 클래스별 메모리를 구성합니다. 첫째는 각 클래스의 평균 특징을 저장하는 표현 메모리이고, 둘째는 분류기 가중치를 저장하는 가중치 메모리입니다. 이후, 표현 메모리 및 가중치 메모리를 활용하여 각 증분 학습 세션에서 소량의 클래스 예시에 대해 분류기를 동적으로 학습하며, 동시에 특징 분류와 공동 메모리 정규화를 최적화합니다. 메모리는 클래스 증분 방식으로 업데이트되며, 이러한 메모리는 증분 학습을 함께 정규화합니다. 이러한 방식으로 학습된 모델은 인식 정확도를 향상시키면서 동시에 기존 클래스에 대한 재앙적 망각과 새로운 클래스에 대한 과적합을 완화합니다. 널리 사용되는 벤치마크에 대한 광범위한 실험 결과는 제안하는 방법이 최첨단 기술보다 우수한 성능을 보임을 명확하게 보여줍니다.

Few-shot class-incremental learning (FSCIL) aims to incrementally learn models from a small amount of novel data, which requires strong representation and adaptation ability of models learned under few-example supervision to avoid catastrophic forgetting on old classes and overfitting to novel classes. This work proposes a generative co-memory regularization approach to facilitate FSCIL. In the approach, the base learning leverages generative domain adaptation finetuning to finetune a pretrained generative encoder on a few examples of base classes by jointly incorporating a masked autoencoder (MAE) decoder for feature reconstruction and a fully-connected classifier for feature classification, which enables the model to efficiently capture general and adaptable representations. Using the finetuned encoder and learned classifier, we construct two class-wise memories: representation memory for storing the mean features for each class, and weight memory for storing the classifier weights. After that, the memory-regularized incremental learning is performed to train the classifier dynamically on the examples of few-shot classes in each incremental session by simultaneously optimizing feature classification and co-memory regularization. The memories are updated in a class-incremental manner and they collaboratively regularize the incremental learning. In this way, the learned models improve recognition accuracy, while mitigating catastrophic forgetting over old classes and overfitting to novel classes. Extensive experiments on popular benchmarks clearly demonstrate that our approach outperforms the state-of-the-arts.