코드 저장소 내 LLM(대규모 언어 모델)이 생성한 코드 및 주석에 대한 탐색적 연구

An Exploratory Study on LLM-Generated Code and Comments in Code Repositories

LLM은 코드 생성 및 요약과 같은 소프트웨어 개발 작업에서 점점 더 널리 사용되고 있습니다. 대형 기술 기업의 보고서에 따르면, 해당 기업의 코드 중 약 20%에서 30%가 LLM에 의해 생성된 것으로 나타났습니다. 그러나 LLM이 생성한 코드와 주석의 실제 활용에 대한 회의론도 존재합니다. 예를 들어, 생성된 코드를 디버깅하는 데 더 많은 시간이 소요될 수 있고, 생성된 주석이 부자연스러울 수 있다는 우려가 있습니다. 본 연구에서는 LLM에 의해 생성되었을 가능성이 높은 코드와 주석을 탐지하고, 그 특징과 회사 및 커뮤니티 관리 저장소 간의 차이점, 그리고 LLM이 생성한 코드와 관련된 버그 발생 가능성을 분석합니다. 2021년부터 2025년까지 다양한 도구와 기술을 사용하여 활성적인 회사 및 커뮤니티 관리 저장소에서 LLM에 의해 생성된 것으로 탐지된 코드와 주석에 대한 광범위한 실험을 수행했습니다. 탐지기 기반의 분석 결과, LLM이 생성했을 가능성이 높은 코드는 시간이 지남에 따라 감소하는 경향을 보이며, 테스트 케이스에서 자주 발견되는 반면, 주석은 상대적으로 안정적인 것으로 나타났습니다. 추가적인 분석 결과, LLM이 생성했을 가능성이 높은 코드에서는 저장소 내 코드 중복 현상이 두드러지게 나타나는 반면, 주석의 경우 문법적으로 정확한 문장의 비율이 상대적으로 낮았습니다. 또한, 회사에서 관리하는 저장소는 커뮤니티에서 관리하는 저장소보다 LLM에 의해 생성되었을 가능성이 높은 코드와 주석의 비율이 더 높았으며, 사람이 직접 라벨링한 버그 중 LLM이 생성한 코드와 관련 있다고 판단되는 경우는 극히 일부에 불과했습니다.

The use of LLMs in software development has become increasingly widespread on tasks such as code generation and summarization. Reports from large technology companies showed that around 20% to 30% of their code are generated by LLMs. However, there remains skepticism about the practical usage of LLM-generated code and comments, such as concerns on more time for debugging the generated code and the unnaturalness of the generated comments. In this paper, we study the code and comments detected as likely to be generated by LLMs and their characteristics, the differences between company- and community-maintained repositories, and how likely bugs are associated with LLM-generated code. We conduct extensive experiments on active company- and community-maintained repositories from 2021 to 2025 using various tools and techniques that detect code and comments generated by LLMs. Based on our detector-based proxy analysis, the results suggest that code detected as likely to be generated by LLMs decreased over time and appeared frequently in test cases, while that of comments remains relatively stable. Proxy results further suggest that code detected as likely to be generated by LLMs shows substantial intra-repository code clones, whereas comments exhibit a relatively low proportion of grammatically correct sentences. In addition, the company-maintained repositories show a higher percentage of code and comments detected as likely to be generated by LLMs, and only a small percentage of the human-labelled bugs are detected as being likely associated with LLM-generated code.