PKI: 사전 지식 주입 신경망 - 소량 데이터 기반 클래스 증분 학습

PKI: Prior Knowledge-Infused Neural Network for Few-Shot Class-Incremental Learning

소량 데이터 기반 클래스 증분 학습(FSCIL)은 제한된 수의 새로운 클래스 샘플을 사용하여 모델을 지속적으로 업데이트하는 것을 목표로 하며, 이 과정에서 발생하는 두 가지 주요 문제점은 재앙적 망각(catastrophic forgetting)과 새로운 클래스에 대한 과적합(overfitting)입니다. 기존 방법들은 종종 네트워크 구성 요소의 일부를 고정하고 다른 부분을 미세 조정하며, 추가적인 메모리를 활용합니다. 이러한 방법들은 기존 클래스에 대한 성능을 유지하여 재앙적 망각을 완화하는 데 중점을 둡니다. 또한, 제한된 파라미터를 사용하면 사전 지식을 활용하여 과적합 문제를 해결하는 데 도움이 됩니다. 본 연구는 기존 방법들을 바탕으로, 더 많은 사전 지식을 활용하여 FSCIL을 용이하게 하는 사전 지식 주입 신경망(PKI)을 제안합니다. PKI는 핵심 네트워크, 프로젝터 앙상블, 분류기, 그리고 추가적인 메모리로 구성됩니다. 각 증분 학습 단계에서 새로운 프로젝터를 구축하고 앙상블에 추가합니다. 이후, 새로운 프로젝터와 분류기를 미세 조정하며, 다른 고정된 네트워크 구성 요소들과 함께 작동하여 풍부한 사전 지식을 효과적으로 활용합니다. PKI는 프로젝터를 연결하여 이전 단계에서 축적된 사전 지식을 통합하고 새로운 지식을 유연하게 학습하여 기존 클래스에 대한 성능을 유지하고 새로운 클래스를 효율적으로 학습합니다. 또한, 많은 프로젝터를 유지하는 데 필요한 리소스 소비를 줄이기 위해, 사전 지식 주입 신경망의 두 가지 변형(PKIV-1 및 PKIV-2)을 설계하여 프로젝터 수를 줄임으로써 리소스 소비와 성능 간의 균형을 맞춥니다. 세 가지 널리 사용되는 벤치마크에 대한 광범위한 실험 결과, 제안하는 방법이 최첨단 방법보다 우수한 성능을 보이는 것을 확인했습니다.

Few-shot class-incremental learning (FSCIL) aims to continually adapt a model on a limited number of new-class examples, facing two well-known challenges: catastrophic forgetting and overfitting to new classes. Existing methods tend to freeze more parts of network components and finetune others with an extra memory during incremental sessions. These methods emphasize preserving prior knowledge to ensure proficiency in recognizing old classes, thereby mitigating catastrophic forgetting. Meanwhile, constraining fewer parameters can help in overcoming overfitting with the assistance of prior knowledge. Following previous methods, we retain more prior knowledge and propose a prior knowledge-infused neural network (PKI) to facilitate FSCIL. PKI consists of a backbone, an ensemble of projectors, a classifier, and an extra memory. In each incremental session, we build a new projector and add it to the ensemble. Subsequently, we finetune the new projector and the classifier jointly with other frozen network components, ensuring the rich prior knowledge is utilized effectively. By cascading projectors, PKI integrates prior knowledge accumulated from previous sessions and learns new knowledge flexibly, which helps to recognize old classes and efficiently learn new classes. Further, to reduce the resource consumption associated with keeping many projectors, we design two variants of the prior knowledge-infused neural network (PKIV-1 and PKIV-2) to trade off a balance between resource consumption and performance by reducing the number of projectors. Extensive experiments on three popular benchmarks demonstrate that our approach outperforms state-of-the-art methods.