지속적 학습에서의 데이터 재학습 효과에 대한 증명: 특징 학습 관점

Provable Effects of Data Replay in Continual Learning: A Feature Learning Perspective

지속적 학습(CL)은 모델이 일련의 작업을 학습하면서 이전 학습된 작업에 대한 성능을 유지하는 것을 목표로 합니다. 이 환경에서 핵심적인 과제는 파국적인 망각(catastrophic forgetting)으로, 새로운 학습이 과거의 지식에 영향을 미치는 현상입니다. 다양한 완화 전략 중, 과거 샘플을 주기적으로 재방문하는 데이터 재학습 방법은 메모리 제약 조건이 완화될 때 특히 간단하면서도 효과적인 것으로 간주됩니다. 그러나, 모든 과거 데이터를 학습 중에 사용할 수 있는 완전 데이터 재학습의 이론적인 효과는 아직 충분히 연구되지 않았습니다. 본 논문에서는 특징 학습 관점에서 지속적 학습에서의 완전 데이터 재학습을 분석하기 위한 포괄적인 이론적 프레임워크를 제시합니다. 다중 뷰 데이터 모델을 채택하여, 신호 대 잡음비(SNR)를 망각에 영향을 미치는 중요한 요인으로 식별합니다. M개의 작업에 대한 점진적인 이진 분류를 중심으로, 우리의 분석은 다음과 같은 두 가지 주요 결론을 확인합니다. (1) 누적된 잡음이 초기 작업에서 오는 신호를 압도할 때, 완전 재학습 하에서도 망각이 발생할 수 있습니다. (2) 충분한 신호 축적을 통해, 데이터 재학습은 초기 학습 성능이 좋지 않았더라도 이전 작업을 복구할 수 있습니다. 주목할 점은, 작업 순서에 대한 새로운 통찰력을 발견했다는 것입니다. 높은 신호를 가진 작업을 우선시하면, 낮은 신호를 가진 작업의 학습을 용이하게 할 뿐만 아니라, 파국적인 망각을 방지하는 데 도움이 됩니다. 우리는 합성 데이터 및 실제 데이터를 사용한 실험을 통해 다양한 SNR 및 작업 상관 관계 환경에서 신호 학습과 잡음 암기 간의 상호 작용을 시각적으로 검증했습니다.

Continual learning (CL) aims to train models on a sequence of tasks while retaining performance on previously learned ones. A core challenge in this setting is catastrophic forgetting, where new learning interferes with past knowledge. Among various mitigation strategies, data-replay methods, where past samples are periodically revisited, are considered simple yet effective, especially when memory constraints are relaxed. However, the theoretical effectiveness of full data replay, where all past data is accessible during training, remains largely unexplored. In this paper, we present a comprehensive theoretical framework for analyzing full data-replay training in continual learning from a feature learning perspective. Adopting a multi-view data model, we identify the signal-to-noise ratio (SNR) as a critical factor affecting forgetting. Focusing on task-incremental binary classification across $M$ tasks, our analysis verifies two key conclusions: (1) forgetting can still occur under full replay when the cumulative noise from later tasks dominates the signal from earlier ones; and (2) with sufficient signal accumulation, data replay can recover earlier tasks-even if their initial learning was poor. Notably, we uncover a novel insight into task ordering: prioritizing higher-signal tasks not only facilitates learning of lower-signal tasks but also helps prevent catastrophic forgetting. We validate our theoretical findings through synthetic and real-world experiments that visualize the interplay between signal learning and noise memorization across varying SNRs and task correlation regimes.