FOREVER: 망각 곡선 기반 기억 재생을 통한 언어 모델 연속 학습

FOREVER: Forgetting Curve-Inspired Memory Replay for Language Model Continual Learning

대규모 언어 모델(LLM)을 위한 연속 학습(CL)은 파국적인 망각 없이 순차적인 지식 획득을 가능하게 하는 것을 목표로 합니다. 메모리 재생 방법은 실용성과 효과성으로 인해 널리 사용되지만, 대부분의 방법은 모델의 실제 학습 진행 상황과 일치하지 않는 고정된, 단계 기반의 휴리스틱에 의존합니다. 왜냐하면 동일한 학습 단계는 다양한 수준의 파라미터 변경을 초래할 수 있기 때문입니다. 최근 연구에서 LLM의 망각 현상이 에빙하우스의 인간 망각 곡선과 유사하다는 사실을 발견한 데 착안하여, 우리는 모델 중심적인 시간 개념에 맞춰 재생 일정을 조정하는 새로운 CL 프레임워크인 FOREVER (FORgEtting curVe-inspired mEmory Replay)를 제안합니다. FOREVER는 최적화기 업데이트의 크기를 사용하여 모델 시간을 정의함으로써, 망각 곡선 기반 재생 간격을 모델의 내부적인 진화에 맞추어 조정합니다. 이러한 접근 방식을 바탕으로, FOREVER는 망각 곡선 기반 재생 스케줄러를 사용하여 언제 재생할지를 결정하고, 재생 강도에 대한 인지 메커니즘을 통해 재생 방식을 적응적으로 제어합니다. 0.6B에서 13B 파라미터에 이르는 다양한 모델과 세 가지 CL 벤치마크에 대한 광범위한 실험 결과, FOREVER가 일관되게 파국적인 망각을 완화하는 것을 보여줍니다.

Continual learning (CL) for large language models (LLMs) aims to enable sequential knowledge acquisition without catastrophic forgetting. Memory replay methods are widely used for their practicality and effectiveness, but most rely on fixed, step-based heuristics that often misalign with the model's actual learning progress, since identical training steps can result in varying degrees of parameter change. Motivated by recent findings that LLM forgetting mirrors the Ebbinghaus human forgetting curve, we propose FOREVER (FORgEtting curVe-inspired mEmory Replay), a novel CL framework that aligns replay schedules with a model-centric notion of time. FOREVER defines model time using the magnitude of optimizer updates, allowing forgetting curve-inspired replay intervals to align with the model's internal evolution rather than raw training steps. Building on this approach, FOREVER incorporates a forgetting curve-based replay scheduler to determine when to replay and an intensity-aware regularization mechanism to adaptively control how to replay. Extensive experiments on three CL benchmarks and models ranging from 0.6B to 13B parameters demonstrate that FOREVER consistently mitigates catastrophic forgetting.