MePo: 리허설 없는 일반 연속 학습을 위한 메타 사후 정제

MePo: Meta Post-Refinement for Rehearsal-Free General Continual Learning

외부 세계의 불확실한 변화에 대처하기 위해 지능형 시스템은 복잡하고 진화하는 환경에서 지속적으로 학습하고 실시간으로 대응해야 한다. 일반 연속 학습(GCL)이라고 통칭되는 이 능력은 온라인 데이터 스트림 및 모호한 태스크 경계와 같은 실질적인 과제들을 포함한다. 사전 학습된 모델(PTM)의 활용이 기존의 연속 학습(CL)을 크게 발전시켰지만, 이러한 방법들은 단일 패스(single pass) 내에서 다양하고 시간적으로 혼합된 정보를 조정하는 데 여전히 한계가 있어 GCL 성능이 최적화되지 못하는 결과를 초래한다. 신경과학의 메타 가소성(meta-plasticity)과 재구성 기억(reconstructive memory)에서 영감을 받아, 본 논문에서는 PTM 기반 GCL을 위한 혁신적인 접근 방식인 '메타 사후 정제(MePo)'를 제안한다. 이 접근 방식은 사전 학습 데이터로부터 의사 태스크 시퀀스(pseudo task sequences)를 구축하고, 사전 학습된 백본(backbone)을 정제하기 위한 이중 레벨(bi-level) 메타 학습 패러다임을 개발한다. 이는 연장된 사전 학습 단계의 역할을 수행하면서도 다운스트림 GCL 태스크에 대한 표현 학습의 신속한 적응을 크게 촉진한다. 또한 MePo는 메타 공분산 행렬을 사전 학습된 표현 공간의 참조 기하학(reference geometry)으로 초기화하여, GCL이 견고한 출력 정렬을 위해 2차 통계량을 활용할 수 있게 한다. MePo는 플러그인 전략으로 작동하며, 다양한 GCL 벤치마크 및 사전 학습된 체크포인트 전반에서 리허설 없는(rehearsal-free) 방식으로 상당한 성능 향상을 달성한다(예: Sup-21/1K 하에서 CIFAR-100, ImageNet-R, CUB-200에 대해 각각 15.10%, 13.36%, 12.56% 향상). 소스 코드는 https://github.com/SunGL001/MePo 에서 이용 가능하다.

To cope with uncertain changes of the external world, intelligent systems must continually learn from complex, evolving environments and respond in real time. This ability, collectively known as general continual learning (GCL), encapsulates practical challenges such as online datastreams and blurry task boundaries. Although leveraging pretrained models (PTMs) has greatly advanced conventional continual learning (CL), these methods remain limited in reconciling the diverse and temporally mixed information along a single pass, resulting in sub-optimal GCL performance. Inspired by meta-plasticity and reconstructive memory in neuroscience, we introduce here an innovative approach named Meta Post-Refinement (MePo) for PTMs-based GCL. This approach constructs pseudo task sequences from pretraining data and develops a bi-level meta-learning paradigm to refine the pretrained backbone, which serves as a prolonged pretraining phase but greatly facilitates rapid adaptation of representation learning to downstream GCL tasks. MePo further initializes a meta covariance matrix as the reference geometry of pretrained representation space, enabling GCL to exploit second-order statistics for robust output alignment. MePo serves as a plug-in strategy that achieves significant performance gains across a variety of GCL benchmarks and pretrained checkpoints in a rehearsal-free manner (e.g., 15.10\%, 13.36\%, and 12.56\% on CIFAR-100, ImageNet-R, and CUB-200 under Sup-21/1K). Our source code is available at \href{https://github.com/SunGL001/MePo}{MePo}