대규모 언어 모델에서 스케일링이 플라스티시티 손실로부터 우리를 보호할 수 있는가?

Can Scale Save Us From Plasticity Loss in Large Language Models?

플라스티시티 손실은 이미 학습된 정보를 바탕으로 새로운 정보를 학습하는 능력, 즉 지속적인 학습 능력을 갖춘 인공 신경망을 구축하는 데 있어 근본적인 과제입니다. 이 현상은 수십 년 동안 알려져 왔지만, 주로 노후되고 비교적 작은 아키텍처에서 연구되었으며, 자연어 분야에서는 드물게 다뤄졌습니다. 본 연구는 최신 트랜스포머 기반 LLM(대규모 언어 모델) 패러다임에서도 플라스티시티 손실이 여전히 문제인지 확인하기 위해, 다국어 지속 학습 문제를 사용하여 GPT 스타일의 트랜스포머 모델에서 플라스티시티 손실을 연구했습니다. 이전 연구와 일관되게, 5백만 개에서 3억 1천 4백만 개의 (임베딩이 아닌) 파라미터를 가진 다양한 모델에서 베트남어 프로빙 작업을 통해 측정했을 때 플라스티시티 손실의 증거를 발견했습니다. 또한, 플라스티시티 손실이 발생하는 시점은 예측 가능한 스케일링 법칙을 따르며, 모델 크기에 따라 거의 선형적으로 증가하는 것으로 나타났습니다. 이러한 결과는 더 큰 모델이 플라스티시티 손실의 측정 가능한 효과를 지연시킬 수 있지만, 파라미터 수를 늘리는 것만으로는 플라스티시티 손실을 완전히 막기에는 충분하지 않을 가능성이 높다는 것을 시사합니다. 또한, 급격한 작업 변경 없이 진행되는 다국어 학습에서도 플라스티시티 손실이 발생한다는 증거를 발견하여, 이 현상이 지속적인 학습에만 국한되지 않는다는 것을 보여줍니다. 전반적으로, 본 연구 결과는 자연어를 사용하여 훈련된 대규모 트랜스포머 언어 모델조차도 충분히 긴 훈련 후에는 새로운 데이터에 효율적으로 적응하는 능력을 결국 잃게 될 것이며, 이는 지속적인 학습 환경과 정적 학습 환경 모두에서 나타날 수 있다는 것을 시사합니다.

The loss of plasticity - the ability of a network to learn new information after having already learned older information - is a fundamental challenge in creating artificial neural networks capable of continual learning. Although this phenomenon has been known for decades, it has mostly been studied in older, relatively small architectures and rarely in natural-language domains. To determine whether loss of plasticity remains a problem in the modern transformer-based LLM paradigm, we study plasticity loss in GPT-style Transformer models trained on a multilingual continual learning problem. Consistent with prior work, we find evidence of plasticity loss across models ranging from 5M to 314M non-embedding parameters, as measured by deterioration on a held-out Vietnamese probing task. We further find that the onset of plasticity loss follows a predictable scaling law, growing sublinearly with model size. These results suggest that larger models may delay the measurable effects of plasticity loss, but that increasing parameter count alone is likely to be insufficient to completely prevent it. We also find evidence of plasticity loss under stationary multilingual training, challenging the view that the phenomenon is exclusive to continual learning with abrupt task changes. Overall, our results suggest that even large Transformer language models trained on natural-language will eventually lose the ability to efficiently adapt to new data after sufficiently long training, in both continual and stationary settings.