메모리 효율적인 온라인 지속 학습을 위한 전형적인 예제 축소

Prototypical Exemplar Condensation for Memory-efficient Online Continual Learning

리허설 기반의 지속 학습(CL)은 이전 작업에서 추출한 일부 샘플을 저장하여 재생함으로써 파국적인 망각을 완화합니다. 기존 연구는 주로 코어셋 선택 전략을 통해 메모리 저장 공간을 최적화하는 데 중점을 둡니다. 이러한 방법은 효과적이지만, 일반적으로 만족스러운 성능을 유지하기 위해서는 각 클래스당 상당한 수의 샘플(SPC, Sample Per Class)을 저장해야 하며, 이는 종종 20개를 초과합니다. 본 연구에서는 특징 추출기를 통해 대표적인 프로토타입을 형성할 수 있는 전형적인 예제(prototypical exemplars)를 합성하고 저장하여 메모리 사용량을 더욱 줄이는 방법을 제안합니다. 이러한 예제는 대표성을 가지므로, 모델이 소수의 샘플만을 사용하여 이전 지식을 유지하고 개인 정보 보호를 유지할 수 있도록 합니다. 또한, 학습 과정에서 이전 데이터의 합성 변형을 생성하는 교란 기반 증강 메커니즘을 도입하여 CL 성능을 향상시킵니다. 널리 사용되는 벤치마크 데이터 세트 및 환경에서의 광범위한 실험 결과는 제안하는 알고리즘이 기존의 기준 성능보다 우수한 성능을 달성하며, 특히 대규모 데이터 세트와 많은 수의 작업이 관련된 시나리오에서 더욱 뛰어난 성능을 보인다는 것을 보여줍니다.

Rehearsal-based continual learning (CL) mitigates catastrophic forgetting by maintaining a subset of samples from previous tasks for replay. Existing studies primarily focus on optimizing memory storage through coreset selection strategies. While these methods are effective, they typically require storing a substantial number of samples per class (SPC), often exceeding 20, to maintain satisfactory performance. In this work, we propose to further compress the memory footprint by synthesizing and storing prototypical exemplars, which can form representative prototypes when passed through the feature extractor. Owing to their representative nature, these exemplars enable the model to retain previous knowledge using only a small number of samples while preserving privacy. Moreover, we introduce a perturbation-based augmentation mechanism that generates synthetic variants of previous data during training, thereby enhancing CL performance. Extensive evaluations on widely used benchmark datasets and settings demonstrate that the proposed algorithm achieves superior performance compared to existing baselines, particularly in scenarios involving large-scale datasets and a high number of tasks.