의미 기반 범위를 활용한 기업 코드 저장소 맞춤형 LLM 자동화

Automated Customization of LLMs for Enterprise Code Repositories Using Semantic Scopes

코드 자동 완성(CC)은 개발자들이 LLM 기반 프로그래밍 도구와 협업할 때 자주 사용하는 기능입니다. LLM의 성능이 공개된 벤치마크에서 향상되었음에도 불구하고, 학습 데이터에 포함되지 않은 사설 코드 저장소에 대한 코드를 생성하는 데 어려움이 있습니다. 사설 저장소에 맞춰 LLM을 조정하면 모델의 성능을 향상시킬 수 있습니다. 본 논문에서는 코드의 의미 기반 범위를 활용한 LLM 자동 맞춤 전략을 제시합니다. 실제 산업 사례에서 두 개의 사설 기업 코드 저장소를 대상으로, 검색 증강 생성(RAG) 및 지도 학습(FT)이라는 두 가지 맞춤 전략을 사용하여 LLM을 평가했습니다. 저장소의 데이터를 효율적으로 활용하고, 의미 기반 범위를 활용하여 학습 데이터 쌍을 구성하는 메커니즘은 모델이 저장소에 특화된 패턴을 학습하도록 돕고, 개발자에게 더욱 정확한 코드를 제공하여 생산성을 향상시킵니다. 적당한 크기의 맞춤형 모델의 코드 자동 완성 기능은 훨씬 더 큰 용량의 맞춤형 모델보다도 훨씬 뛰어날 수 있습니다. 또한, 두 개의 공개 벤치마크에 대한 맞춤 전략 분석을 포함하고, 향후 연구 기회를 제시합니다.

Code completion (CC) is a task frequently used by developers when working in collaboration with LLM-based programming assistants. Despite the increased performance of LLMs on public benchmarks, out of the box LLMs still have a hard time generating code that aligns with a private code repository not previously seen by the model's training data. Customizing code LLMs to a private repository provides a way to improve the model performance. In this paper we present our approach for automated LLM customization based on semantic scopes in the code. We evaluate LLMs on real industry cases with two private enterprise code repositories with two customization strategies: Retrieval-Augmented Generation (RAG) and supervised Fine-Tuning (FT). Our mechanism for ingesting the repository's data and formulating the training data pairs with semantic scopes helps models to learn the underlying patterns specific to the repository, providing more precise code to developers and helping to boost their productivity. The code completions of moderately sized customized models can be significantly better than those of uncustomized models of much larger capacity. We also include an analysis of customization on two public benchmarks and present opportunities for future work.