IDER: 신뢰성 있는 지속적 학습을 위한멱등적 경험 재학습

IDER: IDempotent Experience Replay for Reliable Continual Learning

지속적 학습(CL)에서 신경망이 새로운 작업을 학습할 때 이전에 학습된 지식을 잊어버리는 현상인 재앙적 망각은 주요 과제로 여겨져 왔습니다. 이러한 문제에 대처하기 위해 CL 방법들이 제안되었으며, 이러한 방법들은 망각을 줄이는 데 효과적인 것으로 나타났습니다. 또한, 중요한 환경에서 사용되는 CL 모델은 예측의 신뢰도를 정확하게 평가하여 불확실성을 인지함으로써 성능 향상을 기대할 수 있습니다. 하지만 기존의 불확실성을 고려한 지속적 학습 방법들은 높은 계산 비용과 주류 재학습 방법과의 호환성 문제를 가지고 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 동일한 함수를 반복적으로 적용해도 동일한 출력을 얻는 멱등(idempotent)의 특성을 기반으로 하는 새로운 방법인 멱등적 경험 재학습(IDER)을 제안합니다. 구체적으로, 먼저 모델이 현재 데이터 스트림에 대해 멱등성을 갖도록 학습 손실 함수를 조정합니다. 또한, 멱등성 증류 손실 함수를 도입하여 현재 모델의 출력을 이전 체크포인트로 다시 입력하고, 이 재처리된 출력과 현재 모델의 원래 출력 간의 거리를 최소화합니다. 이를 통해 신뢰성 있는 지속적 학습 모델을 구축하기 위한 간단하고 효과적인 새로운 기준을 제시하며, 이는 다른 CL 접근 방식과 원활하게 통합될 수 있습니다. 다양한 CL 벤치마크에서 수행한 실험 결과, IDER는 예측 신뢰성을 지속적으로 향상시키면서 동시에 정확도를 높이고 망각을 줄이는 것을 보여주었습니다. 이러한 결과는 멱등성이 실제 응용 분야에서 효율적이고 신뢰할 수 있는 지속적 학습 시스템을 구축하기 위한 유망한 원리임을 시사합니다. 본 논문의 코드는 https://github.com/YutingLi0606/Idempotent-Continual-Learning 에서 확인할 수 있습니다.

Catastrophic forgetting, the tendency of neural networks to forget previously learned knowledge when learning new tasks, has been a major challenge in continual learning (CL). To tackle this challenge, CL methods have been proposed and shown to reduce forgetting. Furthermore, CL models deployed in mission-critical settings can benefit from uncertainty awareness by calibrating their predictions to reliably assess their confidences. However, existing uncertainty-aware continual learning methods suffer from high computational overhead and incompatibility with mainstream replay methods. To address this, we propose idempotent experience replay (IDER), a novel approach based on the idempotent property where repeated function applications yield the same output. Specifically, we first adapt the training loss to make model idempotent on current data streams. In addition, we introduce an idempotence distillation loss. We feed the output of the current model back into the old checkpoint and then minimize the distance between this reprocessed output and the original output of the current model. This yields a simple and effective new baseline for building reliable continual learners, which can be seamlessly integrated with other CL approaches. Extensive experiments on different CL benchmarks demonstrate that IDER consistently improves prediction reliability while simultaneously boosting accuracy and reducing forgetting. Our results suggest the potential of idempotence as a promising principle for deploying efficient and trustworthy continual learning systems in real-world applications.Our code is available at https://github.com/YutingLi0606/Idempotent-Continual-Learning.