CD^2: 제약 조건 데이터 증류를 통한 소량 데이터 클래스 증분 학습

CD^2: Constrained Dataset Distillation for Few-Shot Class-Incremental Learning

소량 데이터 클래스 증분 학습(FSCIL)은 제한된 훈련 샘플만을 사용하여 지속적으로 분류 작업을 수행하는 데 중요한 기술이지만, 심각한 파국적 망각 문제를 야기합니다. 기존 방법들은 일반적으로 외부 메모리를 사용하여 이전 지식을 저장하고, 새로운 클래스를 기존 클래스와 동등하게 취급하는데, 이는 이전의 필수적인 지식을 제대로 보존하지 못합니다. 이러한 문제를 해결하고, 최근 지식 전달에 대한 증류 연구에서 영감을 받아, 본 연구에서는 FSCIL을 용이하게 하기 위한 프레임워크인 '제약 조건 데이터 증류(CD$^2$)'를 제안합니다. 이 프레임워크는 데이터 증류 모듈(DDM)과 증류 제약 모듈(DCM)로 구성됩니다. 구체적으로, DDM은 분류기에 의해 안내되어 생성된 고도로 압축된 샘플을 사용하여 모델이 소량의 증분 샘플로부터 필수적인 클래스 관련 정보를 학습하도록 유도합니다. DCM은 미리 학습된 클래스 분포에 대한 제약 손실을 도입하여 증류된 지식을 더욱 충분히 보존할 수 있도록 합니다. 세 개의 공개 데이터 세트에 대한 광범위한 실험 결과, 제안하는 방법이 다른 최첨단 경쟁 방법보다 우수하다는 것을 보여줍니다.

Few-shot class-incremental learning (FSCIL) receives significant attention from the public to perform classification continuously with a few training samples, which suffers from the key catastrophic forgetting problem. Existing methods usually employ an external memory to store previous knowledge and treat it with incremental classes equally, which cannot properly preserve previous essential knowledge. To solve this problem and inspired by recent distillation works on knowledge transfer, we propose a framework termed \textbf{C}onstrained \textbf{D}ataset \textbf{D}istillation (\textbf{CD$^2$}) to facilitate FSCIL, which includes a dataset distillation module (\textbf{DDM}) and a distillation constraint module~(\textbf{DCM}). Specifically, the DDM synthesizes highly condensed samples guided by the classifier, forcing the model to learn compacted essential class-related clues from a few incremental samples. The DCM introduces a designed loss to constrain the previously learned class distribution, which can preserve distilled knowledge more sufficiently. Extensive experiments on three public datasets show the superiority of our method against other state-of-the-art competitors.