AI 생성 코드의 53,600건의 실제 개발자 수정 사항으로부터 학습

Learning from 53.6K Real-World Developer Edits of AI-Generated Code

AI가 생성한 코드에는 결함이 존재하기 때문에, 소프트웨어 개발자는 생성된 코드를 수동으로 수정하거나, AI 프로그래밍 도우미에게 새로운 프롬프트를 제공하여 수정해야 합니다. Git 커밋은 최종적으로 성공한 코드 조각만 포함하므로, 수동 코드 수정은 편집 행동에 대한 보다 현실적이고 세부적인 정보를 제공합니다. 그러나 고품질의 실제 코드 편집 데이터 부족으로 인해 LLM(Large Language Models)은 주로 공개된 Git 데이터(예: 커밋)로 훈련됩니다. 이러한 격차를 해소하기 위해, 저희는 DECODE (Developer Edits of Code Dataset)라는 데이터셋을 소개합니다. 이 데이터셋은 Python, TypeScript 및 JavaScript 언어로 작성된 AI 생성 코드에 대한 53,600건의 실제 IDE(Integrated Development Environment) 내 코드 수정 데이터를 포함하며, 1,000명 이상의 개발자로부터 수집되었습니다. 첫째, 저희는 DECODE를 사용하여 데이터 분석을 수행하고, AI 생성 코드가 언제, 왜, 그리고 어떻게 수정되는지에 대한 통찰력을 얻었습니다. 연구 결과, 대부분의 수정 작업은 AI 완성 제안을 수락한 후 처음 15분 이내에 발생하며, 수정 과정에서 AI 완성 제안이 31%의 경우 제거되었습니다. 둘째, 저희는 DECODE를 사용하여 LLM의 코드 수정 예측 능력을 평가했습니다. 연구 결과, DECODE 데이터셋으로 파인튜닝된 오픈소스 3B 모델은 최첨단 LLM보다 코드 수정 예측 작업에서 훨씬 더 뛰어난 성능을 보였습니다. 마지막으로, 본 연구의 시사점을 논의하며, 향후 AI 프로그래밍 도우미 개발을 위한 개발자 중심의 머신러닝 접근 방식의 필요성을 강조합니다.

Imperfections in AI-generated code require that software developers modify the generated code manually, or by re-prompting an AI programming assistant. Manual code edits provide more realistic and granular information on editing behavior than Git commits, which only contain final successful code snippets. Yet, due to a lack of high-quality, realistic code editing data, LLMs are mostly trained on publicly available Git data (e.g., commits). To address this gap, we introduce DECODE (Developer Edits of Code Dataset), a dataset of 53.6K real-world in-IDE code edits of AI-generated code in Python, TypeScript, and JavaScript, sourced from 1K+ developers. First, we demonstrate the utility of DECODE for data analysis, obtaining insights on when, why, and how AI-generated code is edited. We find that most edits occur within the first 15 minutes after accepting an AI completion, resulting in the removal of AI completions in 31% of edit trajectories. Second, we use DECODE to benchmark the ability of LLMs to predict code edits. We find that finetuning on DECODE enables open-source 3B models to perform code edit prediction tasks significantly better than frontier LLMs. We then discuss implications of this work, emphasizing the necessity of developer-centric machine learning approaches for future AI programming assistants.