보존을 넘어: LLM의 지속적인 학습에서 구조적 안전성과 가소성을 조화시키는 방법

Beyond Retention: Orchestrating Structural Safety and Plasticity in Continual Learning for LLMs

대규모 언어 모델(LLM)에서의 지속적인 학습은 안정성(기존 지식 유지)과 가소성(새로운 작업 학습)의 균형을 맞추는 중요한 과제를 안고 있습니다. 경험 재생(ER)은 파국적인 망각에 대한 표준적인 대응책이지만, 다양한 능력에 미치는 영향은 아직 충분히 연구되지 않았습니다. 본 연구에서는 ER의 행동 양상에 대한 중요한 이분법을 밝혀냅니다. ER은 견고하고 비정형적인 작업(예: 반복적인 연습을 통해 이전 NLP 분류 작업의 성능 향상)에서는 양호한 역전송 효과를 유발하지만, 코드 생성과 같은 취약하고 정형적인 영역에서는 심각한 부정적인 역전송 효과를 초래합니다(예: 코딩 정확도의 상당한 상대적 감소). 이는 ER이 광범위한 통합을 위해 구조적 완전성을 희생한다는 것을 보여줍니다. 이러한 딜레마를 해결하기 위해, 우리는 **직교 부분 공간 활성화(Orthogonal Subspace Wake-up, OSW)**를 제안합니다. OSW는 짧은 "활성화" 단계를 통해 이전 작업의 필수적인 매개변수 부분 공간을 식별하고, 새로운 작업에 대해 직교적인 업데이트를 적용하여, 확립된 지식 구조에 대한 수학적으로 근거 있는 "안전 보장"을 제공합니다. 다양한 4가지 작업 시퀀스를 활용한 실험 결과는 OSW가 ER이 실패하는 취약한 코딩 능력을 유지하는 데 독특하게 성공하고, 동시에 새로운 작업에 대한 높은 가소성을 유지한다는 것을 보여줍니다. 본 연구 결과는 LLM 지속적인 학습에서 평균적인 유지 능력과 함께 구조적 안전성을 평가해야 할 필요성을 강조합니다.

Continual learning in Large Language Models (LLMs) faces the critical challenge of balancing stability (retaining old knowledge) and plasticity (learning new tasks). While Experience Replay (ER) is a standard countermeasure against catastrophic forgetting, its impact across diverse capabilities remains underexplored. In this work, we uncover a critical dichotomy in ER's behavior: while it induces positive backward transfer on robust, unstructured tasks (e.g., boosting performance on previous NLP classification tasks through repeated rehearsal), it causes severe negative transfer on fragile, structured domains like code generation (e.g., a significant relative drop in coding accuracy). This reveals that ER trades structural integrity for broad consolidation. To address this dilemma, we propose \textbf{Orthogonal Subspace Wake-up (OSW)}. OSW identifies essential parameter subspaces of previous tasks via a brief "wake-up" phase and enforces orthogonal updates for new tasks, providing a mathematically grounded "safety guarantee" for established knowledge structures. Empirical results across a diverse four-task sequence demonstrate that OSW uniquely succeeds in preserving fragile coding abilities where Replay fails, while simultaneously maintaining high plasticity for novel tasks. Our findings emphasize the necessity of evaluating structural safety alongside average retention in LLM continual learning.