순서에서 분포로: 연속 학습에서의 망각 현상에 대한 스펙트럼 특성 분석

From Order to Distribution: A Spectral Characterization of Forgetting in Continual Learning

연속 학습의 핵심적인 과제 중 하나는 망각 현상으로, 이는 새로운 작업에 순차적으로 적응함에 따라 이전에 학습된 작업에 대한 성능 저하를 의미합니다. 망각 현상은 경험적으로 광범위하게 연구되어 왔지만, 엄밀한 이론적 분석은 여전히 제한적입니다. 이와 관련하여 extit{evron2022catastrophic} 논문은 과적합된 선형 회귀 모델에서 고정된 작업 집합의 임의 순서에 따른 망각 현상을 분석합니다. 우리는 순서에서 분포로 관점을 전환합니다. 특정 작업 집합이 임의의 순서에 따라 어떻게 동작하는지를 묻는 대신, 각 작업이 독립적으로 동일한 분포 ~Π에서 표본 추출되는 정확한 적합 선형 영역에서, 생성 분포 자체가 망각 현상을 어떻게 지배하는지를 연구합니다. 이러한 설정에서, 우리는 망각 정도에 대한 정확한 연산자 항등식을 유도하여 재귀적인 스펙트럼 구조를 밝혀냅니다. 이 항등식을 바탕으로, 조건 없는 상한을 설정하고, 주요 비선형 항을 식별하며, 일반적인 비특이적인 경우에서 수렴 속도를 상수만을 제외하고 특성화합니다. 또한, 이러한 속도를 작업 분포의 기하학적 특성과 연관시켜, 이 모델에서 느리거나 빠른 망각 현상을 유발하는 요인을 명확히 합니다.

A central challenge in continual learning is forgetting, the loss of performance on previously learned tasks induced by sequential adaptation to new ones. While forgetting has been extensively studied empirically, rigorous theoretical characterizations remain limited. A notable step in this direction is \citet{evron2022catastrophic}, which analyzes forgetting under random orderings of a fixed task collection in overparameterized linear regression. We shift the perspective from order to distribution. Rather than asking how a fixed task collection behaves under random orderings, we study an exact-fit linear regime in which tasks are sampled i.i.d.\ from a task distribution~$Π$, and ask how the generating distribution itself governs forgetting. In this setting, we derive an exact operator identity for the forgetting quantity, revealing a recursive spectral structure. Building on this identity, we establish an unconditional upper bound, identify the leading asymptotic term, and, in generic nondegenerate cases, characterize the convergence rate up to constants. We further relate this rate to geometric properties of the task distribution, clarifying what drives slow or fast forgetting in this model.