기술 신조어: 기술 기반 지속적 학습을 향하여

Skill Neologisms: Towards Skill-based Continual Learning

최신 LLM은 점점 더 광범위한 기술을 숙달하고 있으며, 이러한 기술들을 유연하게 조합하는 능력 또한 보여줍니다. 그러나 모델의 기능을 새로운 기술로 확장하는 것은 여전히 해결해야 할 과제입니다. 미세 조정 및 파라미터 효율적인 방법은 재앙적 망각의 위험이 있으며, 컨텍스트 기반 접근 방식은 표현력이 제한적이고 모델의 효과적인 컨텍스트에 의해 제약됩니다. 본 연구에서는 모델 어휘에 통합되어 특정 기술에 대한 성능을 향상시키는 데 최적화된 '기술 신조어'를 탐구합니다. 기술 신조어는 가중치 업데이트 없이 모델의 기능을 선택적으로 새로운 기술로 확장하는 방법입니다. 먼저, 사전 훈련된 LLM이 이미 절차적 지식과 관련된 토큰을 가지고 있음을 확인했습니다. 그런 다음, 기술 신조어가 학습되어 특정 기술에 대한 모델 성능을 향상시키고, 동시에 일반화된 기술과 함께 사용될 수 있음을 보여주었습니다. 또한, 독립적으로 훈련된 기술 신조어를 제로샷으로 조합할 수 있음을 확인했습니다. 이러한 결과는 기술 신조어가 기술 기반 지속적 학습을 위한 확장 가능한 경로를 제공할 수 있음을 시사합니다.

Modern LLMs show mastery over an ever-growing range of skills, as well as the ability to compose them flexibly. However, extending model capabilities to new skills in a scalable manner is an open-problem: fine-tuning and parameter-efficient variants risk catastrophic forgetting, while context-based approaches have limited expressiveness and are constrained by the model's effective context. We explore skill neologisms--i.e., soft tokens integrated in the model's vocabulary and optimized to improve capabilities over a specific skill--as a way to selectively extend model capabilities to new skills without weight updates. We first observe that off-the-shelf pre-trained LLMs already demonstrate tokens associated with procedural knowledge. We then show that skill neologisms can be learned to improve model capabilities on specific skills while being composable with out-of-distribution skills, and that independently trained skill neologisms can be composed zero-shot. These results suggest that skill neologisms may provide a scalable path towards skill-based continual learning.