ACIL: 이미지 분류를 위한 능동적 클래스 증분 학습

ACIL: Active Class Incremental Learning for Image Classification

지속적인 학습(또는 클래스 증분 학습)은 컴퓨터 비전 시스템에 대한 현실적인 학습 시나리오이며, 심층 신경망은 에피소드별 데이터로 학습되지만, 일반적으로 모델은 이전 에피소드의 데이터를 사용할 수 없습니다. 이 분야의 기존 연구는 주로 각 에피소드에서 지속적으로 변하는 클래스 분포와 이전 에피소드의 데이터 접근 불가로 인해 발생하는 재앙적 망각을 방지하는 데 중점을 두었습니다. 그러나 이러한 방법은 모든 에피소드에 있는 모든 학습 샘플이 레이블이 지정되어 있다고 가정하는데, 이는 막대한 레이블링 비용을 초래할 뿐만 아니라, 주어진 에피소드에서 대부분의 샘플이 후속 에피소드에서 모델에 사용 불가능하기 때문에 레이블링 노력이 낭비됩니다. 능동 학습 알고리즘은 대량의 레이블이 없는 데이터에서 중요한 정보가 담긴 샘플을 식별하여 심층 신경망 학습에 필요한 인간의 레이블링 노력을 줄이는 데 중요한 역할을 합니다. 본 논문에서는 클래스 증분 학습 환경을 위한 새로운 능동 학습 프레임워크인 ACIL을 제안합니다. 우리는 불확실성과 다양성을 기반으로 한 기준을 활용하여 각 에피소드에서 레이블이 지정되어야 할 대표적인 샘플을 식별하고, 이러한 샘플은 다음 에피소드의 데이터에 추가됩니다. 이러한 프레임워크는 레이블링 비용을 크게 줄일 수 있으며, 또한 재앙적 망각을 방지할 수 있습니다. 여러 비전 데이터 세트에 대한 광범위한 실험적 분석을 통해 제안하는 프레임워크가 관련 기본 모델에 비해 얼마나 효과적인지 확인했습니다.

Continual learning (or class incremental learning) is a realistic learning scenario for computer vision systems, where deep neural networks are trained on episodic data, and the data from previous episodes are generally inaccessible to the model. Existing research in this domain has primarily focused on avoiding catastrophic forgetting, which occurs due to the continuously changing class distributions in each episode and the inaccessibility of the data from previous episodes. However, these methods assume that all the training samples in every episode are annotated; this not only incurs a huge annotation cost, but also results in a wastage of annotation effort, since most of the samples in a given episode will not be accessible to the model in subsequent episodes. Active learning algorithms identify the salient and informative samples from large amounts of unlabeled data and are instrumental in reducing the human annotation effort in inducing a deep neural network. In this paper, we propose ACIL, a novel active learning framework for class incremental learning settings. We exploit a criterion based on uncertainty and diversity to identify the exemplar samples that need to be annotated in each episode, and will be appended to the data in the next episode. Such a framework can drastically reduce annotation cost and can also avoid catastrophic forgetting. Our extensive empirical analyses on several vision datasets corroborate the promise and potential of our framework against relevant baselines.