진화 전략을 활용한 LLM 미세 조정 시 망각 극복

Overcoming Forgetting in LLM Fine-Tuning with Evolution Strategies

최근 진화 전략(Evolution Strategies, ES)은 대규모 언어 모델(LLM)의 미세 조정에 있어 강화 학습(Reinforcement Learning, RL)의 경쟁적인 대안으로 부상했으며, 단순성, 확장성 및 추론 기반 훈련이라는 장점을 제공합니다. 그러나 최근 연구 결과에 따르면, 새로운 작업에 대한 ES 미세 조정은 이전 작업에 대한 망각을 유발할 수 있습니다. 본 논문에서는 먼저, 이전 작업에 대한 망각이 (1) 되돌릴 수 없는 망각이라기보다는 성능 저하(performance drift)로 더 잘 설명되며, ES 훈련 과정에서 이전 작업의 성능이 종종 회복된다는 점을 보여줍니다. 또한 (2) 이러한 현상이 ES만의 문제점은 아니며, RL 방법으로 미세 조정하는 경우에도 발생할 수 있다는 것을 밝힙니다. 둘째, 본 논문은 그러한 성능 저하가 언제, 왜 발생하는지 분석하며, 특히 가중치 공간의 약하게 제약된 방향에서의 무작위적인 움직임이 ES 훈련 방식에 크게 의존한다는 점을 강조합니다. 셋째, 이러한 통찰력을 바탕으로, 초기 모델 파라미터로의 최적화를 제한하는 파라미터 공간 정규화 기술인 '앵커 가중치 감소(Anchored Weight Decay, AWD)'를 제안합니다. AWD는 이전 작업의 성능을 효과적으로 안정시키면서 목표 작업의 성능을 유지하며, 훨씬 낮은 계산 비용으로 큰 ES 모집단 크기를 가진 경우와 유사한 이점을 제공합니다. 따라서 본 논문은 기존의 믿음과는 달리, ES 하에서의 이전 작업 망각은 대부분 피할 수 있으며, 이러한 점이 LLM의 지속적인 학습에 있어 ES를 유망한 접근 방식으로 만들 수 있음을 보여줍니다.

Evolution Strategies (ES) has recently emerged as a competitive alternative to reinforcement learning (RL) for large language model (LLM) fine-tuning, offering advantages through simplicity, scalability, and inference-only training. However, recent work suggests that ES fine-tuning on new tasks may induce forgetting of prior tasks. First, this paper shows that prior task forgetting (1) is better characterized as performance drift rather than irreversible forgetting, with prior-task performance often recovering during ES training; and (2) is not a specific failure mode of ES, but can also arise for fine-tuning with RL methods. Second, it analyzes when and why such drift arises, highlighting its dependence on ES training dynamics, particularly random walk behavior in weakly constrained directions of the weight space. Third, based on these insights, it introduces Anchored Weight Decay (AWD) as a parameter-space regularization technique that constrains optimization toward the initial model parameters. AWD effectively stabilizes prior-task performance while preserving target-task performance, achieving benefits comparable to large ES population sizes at much lower computational cost. Thus, contrary to previous beliefs, the paper shows that prior-task forgetting under ES is largely avoidable, positioning ES as a promising approach for continual learning in LLMs.