대규모 언어 모델 조사

A Survey of Large Language Models

언어는 본질적으로 문법 규칙에 의해 지배되는 복잡하고 정교한 인간 표현 체계이다. 언어를 이해하고 파악할 수 있는 유능한 AI 알고리즘을 개발하는 것은 중요한 도전 과제이다. 주요 접근 방식으로서, 언어 모델링은 지난 20년 동안 통계적 언어 모델에서 신경망 언어 모델로 진화하며 언어 이해 및 생성을 위해 널리 연구되어 왔다. 최근에는 대규모 말뭉치에 대해 트랜스포머(Transformer) 모델을 사전 학습시켜 다양한 NLP 작업을 해결하는 데 강력한 성능을 보여주는 사전 학습된 언어 모델(PLM)이 제안되었다. 연구자들은 모델 확장이 성능 향상으로 이어질 수 있음을 발견한 이후, 모델 크기를 더욱 크게 늘려 확장 효과를 추가로 연구하고 있다. 흥미롭게도 매개변수 규모가 특정 수준을 초과하면, 이렇게 확장된 언어 모델은 상당한 성능 향상을 달성할 뿐만 아니라 소규모 언어 모델에는 존재하지 않았던 특별한 능력들을 보여준다. 매개변수 규모의 차이를 구별하기 위해 연구 커뮤니티에서는 상당한 크기의 PLM에 대해 대규모 언어 모델(LLM)이라는 용어를 만들었다. 최근 학계와 산업계 모두에서 LLM에 대한 연구가 크게 진전되었으며, 사회적으로 큰 관심을 끈 ChatGPT의 출시가 놀라운 성과의 하나이다. LLM의 기술적 진화는 전체 AI 커뮤니티에 중요한 영향을 미치고 있으며, 이는 우리가 AI 알고리즘을 개발하고 사용하는 방식을 혁신할 것이다. 이 조사에서는 배경, 주요 발견 및 주류 기술을 소개함으로써 LLM의 최근 발전 사항을 검토한다. 특히 우리는 LLM의 네 가지 주요 측면, 즉 사전 학습, 적응 튜닝, 활용, 능력 평가에 중점을 둔다. 또한, LLM 개발을 위해 사용 가능한 자원을 요약하고 향후 방향에 대해 남아있는 문제들을 논의한다.

Language is essentially a complex, intricate system of human expressions governed by grammatical rules. It poses a significant challenge to develop capable AI algorithms for comprehending and grasping a language. As a major approach, language modeling has been widely studied for language understanding and generation in the past two decades, evolving from statistical language models to neural language models. Recently, pre-trained language models (PLMs) have been proposed by pre-training Transformer models over large-scale corpora, showing strong capabilities in solving various NLP tasks. Since researchers have found that model scaling can lead to performance improvement, they further study the scaling effect by increasing the model size to an even larger size. Interestingly, when the parameter scale exceeds a certain level, these enlarged language models not only achieve a significant performance improvement but also show some special abilities that are not present in small-scale language models. To discriminate the difference in parameter scale, the research community has coined the term large language models (LLM) for the PLMs of significant size. Recently, the research on LLMs has been largely advanced by both academia and industry, and a remarkable progress is the launch of ChatGPT, which has attracted widespread attention from society. The technical evolution of LLMs has been making an important impact on the entire AI community, which would revolutionize the way how we develop and use AI algorithms. In this survey, we review the recent advances of LLMs by introducing the background, key findings, and mainstream techniques. In particular, we focus on four major aspects of LLMs, namely pre-training, adaptation tuning, utilization, and capacity evaluation. Besides, we also summarize the available resources for developing LLMs and discuss the remaining issues for future directions.