LLaMA: 개방적이고 효율적인 기반 언어 모델

LLaMA: Open and Efficient Foundation Language Models

우리는 7B에서 65B 파라미터 규모의 기반 언어 모델 모음인 LLaMA를 소개합니다. 우리는 수조 개의 토큰으로 모델을 학습시켰으며, 독점적이고 접근 불가능한 데이터셋에 의존하지 않고 오직 공개된 데이터셋만을 사용하여 최첨단 모델을 학습시키는 것이 가능함을 보여줍니다. 특히 LLaMA-13B는 대부분의 벤치마크에서 GPT-3(175B)를 능가하며, LLaMA-65B는 최고의 모델인 Chinchilla-70B 및 PaLM-540B와 경쟁할 수 있는 성능을 갖추고 있습니다. 우리는 모든 모델을 연구 커뮤니티에 공개합니다.

We introduce LLaMA, a collection of foundation language models ranging from 7B to 65B parameters. We train our models on trillions of tokens, and show that it is possible to train state-of-the-art models using publicly available datasets exclusively, without resorting to proprietary and inaccessible datasets. In particular, LLaMA-13B outperforms GPT-3 (175B) on most benchmarks, and LLaMA-65B is competitive with the best models, Chinchilla-70B and PaLM-540B. We release all our models to the research community.