CodeGeeX: HumanEval-X 다국어 벤치마킹을 통한 코드 생성 사전 학습 모델

CodeGeeX: A Pre-Trained Model for Code Generation with Multilingual Benchmarking on HumanEval-X

OpenAI Codex와 같은 대규모 사전 학습 코드 생성 모델은 문법 및 기능적으로 정확한 코드를 생성할 수 있어 프로그래머의 생산성을 높이고 범용 인공지능(AGI)의 실현을 앞당기고 있다. 본 논문에서는 130억 개의 파라미터를 가진 다국어 코드 생성 모델인 CodeGeeX를 소개한다. CodeGeeX는 2022년 6월 기준으로 23개 프로그래밍 언어의 8,500억 개 토큰에 대해 사전 학습되었다. 광범위한 실험 결과, CodeGeeX는 HumanEval-X 벤치마크의 코드 생성 및 번역 작업 모두에서 유사한 규모의 다국어 코드 모델보다 뛰어난 성능을 보였다. 우리는 파이썬 전용인 HumanEval을 기반으로, 다국어 모델 평가를 위해 C++, Java, JavaScript, Go로 솔루션을 직접 작성하여 HumanEval-X 벤치마크를 개발했다. 또한 Visual Studio Code, JetBrains, Cloud Studio용 CodeGeeX 기반 확장 프로그램을 구축하여 매주 수만 명의 활성 사용자를 위해 47억 개의 토큰을 생성하고 있다. 사용자 연구에 따르면 CodeGeeX는 83.4%의 사용자에게 코딩 효율성 향상에 도움을 주는 것으로 나타났다. 마지막으로, CodeGeeX는 공개적으로 사용 가능하며, 2022년 9월에 코드, 모델 가중치(8,500억 토큰 학습 버전), API, 확장 프로그램 및 HumanEval-X를 https://github.com/THUDM/CodeGeeX에 오픈 소스로 공개했다.

Large pre-trained code generation models, such as OpenAI Codex, can generate syntax- and function-correct code, making the coding of programmers more productive and our pursuit of artificial general intelligence closer. In this paper, we introduce CodeGeeX, a multilingual model with 13 billion parameters for code generation. CodeGeeX is pre-trained on 850 billion tokens of 23 programming languages as of June 2022. Our extensive experiments suggest that CodeGeeX outperforms multilingual code models of similar scale for both the tasks of code generation and translation on HumanEval-X. Building upon HumanEval (Python only), we develop the HumanEval-X benchmark for evaluating multilingual models by hand-writing the solutions in C++, Java, JavaScript, and Go. In addition, we build CodeGeeX-based extensions on Visual Studio Code, JetBrains, and Cloud Studio, generating 4.7 billion tokens for tens of thousands of active users per week. Our user study demonstrates that CodeGeeX can help to increase coding efficiency for 83.4% of its users. Finally, CodeGeeX is publicly accessible and in Sep. 2022, we open-sourced its code, model weights (the version of 850B tokens), API, extensions, and HumanEval-X at https://github.com/THUDM/CodeGeeX.