변혁적 지속 학습: 패러다임의 전환

Continual Learning in Transition

전통적인 지속 학습(Continual Learning, CL)은 주로 모델이 파라미터 중심적인 메커니즘을 통해 지식을 업데이트하고 유지할 수 있도록 하는 데 초점을 맞추었습니다. 예를 들어, 훈련 전략, 아키텍처 설계 및 가중치 적응 등이 있습니다. 그러나 새로운 패러다임들은 CL의 범위를 이러한 전통적인 모델 적응 관점 이상으로 확장하고 있습니다. 예를 들어, 온-폴리시 학습은 업데이트 메커니즘의 공간을 넓히고, 테스트 시간 훈련은 CL을 훈련 단계에서 추론 단계로 확장하며, 메모리, 기술 라이브러리 및 상호 작용 프로토콜과 같은 외부 하드웨어 구성 요소는 모델 기능의 진화적 경계를 정적인 파라미터 공간 훨씬 너머로 확장합니다. 이러한 발전들은 전반적으로 파라미터 중심 학습에서 시스템 수준 적응으로의 전환을 나타냅니다. 이러한 전환을 특성화하기 위해, 우리는 지속 학습의 진화를 '언제(When)', '어떻게(How)' 및 '어디서(Where)'라는 세 가지 측면으로 분석합니다. '어떻게' 측면은 오프-폴리시, 온-폴리시 및 그래디언트 기반 최적화 메커니즘을 포괄합니다. '언제' 측면은 사전 훈련, 사후 훈련 및 추론 시간 단계를 포함하는 진화를 설명합니다. '어디서' 측면은 내부 파라미터에서의 업데이트와 외부 구조적 제약 조건 내에서의 업데이트를 구분합니다. 이러한 삼차원 프레임워크를 기반으로, 우리는 대표적인 방법들을 체계적으로 조사하고, 지속 학습의 진행 중인 전환을 추적하며, 이 패러다임 변화에서 발생하는 주요 과제, 광범위한 함의 및 미래 방향에 대해 논의합니다.

Classical continual learning (CL) has primarily focused on enabling models to update and retain knowledge through parameter-centric mechanisms, e.g., training strategies, architectural designs, and weight adaptation. However, emerging paradigms are reshaping the scope of CL beyond this traditional model adaptation view. For instance, on-policy learning broadens the space of update mechanisms; test-time training extends CL from the training phase to inference; and external harness components such as memory, skill libraries, and interaction protocols extend the evolutionary boundaries of model capabilities far beyond the static parameter space. Collectively, these developments indicate a transition from parameter-centric learning toward system-level adaptation. To characterize this transition, we examine the evolution of continual learning through three dimensions: When, How, and Where learning occurs. The How dimension encompasses off-policy, on-policy, and beyond-gradient optimization mechanics. The When dimension captures evolution across pre-training, post-training, and inference-time stages. The Where dimension delineates updates occurring within internal parameters versus external structural constraints. Anchored by this tri-axial framework, we systematically survey representative methods, trace the ongoing transition of continual learning, and discuss the key challenges, broader implications, and future directions arising from this paradigm shift.