AI 코딩 에이전트가 실패하는 이유는 무엇인가? GitHub의 실패한 에이전트 기반 풀 리퀘스트에 대한 실증적 연구

Where Do AI Coding Agents Fail? An Empirical Study of Failed Agentic Pull Requests in GitHub

AI 코딩 에이전트들이 이제 소프트웨어 프로젝트에 풀 리퀘스트(PR)를 제출하며, 단순한 지원 도구를 넘어 자율적인 기여자로서 역할을 수행하고 있습니다. 이러한 에이전트 기반 기여가 실제 저장소에서 빠르게 증가하는 가운데, 이들이 실제로 어떻게 작동하는지, 그리고 왜 많은 PR들이 병합되지 않는지에 대한 이해는 아직 부족합니다. 본 논문에서는 GitHub에서 5개의 코딩 에이전트가 생성한 33,000개의 에이전트 작성 PR에 대한 대규모 연구를 수행합니다. (연구 질문 1) 우리는 먼저 병합된 PR과 병합되지 않은 PR을 4가지 주요 측면에서 정량적으로 분석합니다. 1) 작업 유형별 병합 결과, 2) 코드 변경 사항, 3) CI 빌드 결과, 그리고 4) 리뷰 동향입니다. 분석 결과, 문서, CI, 빌드 업데이트 관련 작업이 가장 높은 성공률을 보이는 반면, 성능 개선 및 버그 수정 작업은 가장 낮은 성공률을 보입니다. 병합되지 않은 PR들은 일반적으로 더 큰 코드 변경 사항을 포함하고, 더 많은 파일을 수정하며, 프로젝트의 CI/CD 파이프라인 검증을 통과하지 못하는 경향이 있습니다. (연구 질문 2) 일부 에이전트 기반 PR이 병합되지 않는 이유를 더 자세히 조사하기 위해, 600개의 PR을 질적으로 분석하여 거부 패턴에 대한 계층적 분류 체계를 도출했습니다. 이 분석은 연구 질문 1의 정량적 결과를 보완하며, 정량적 지표로 파악하기 어려운 거부 이유, 예를 들어 의미 있는 리뷰어 참여 부족, 중복 PR, 원치 않는 기능 구현, 그리고 에이전트의 목표와 프로젝트 목표의 불일치 등을 밝혀냅니다. 종합적으로, 본 연구의 결과는 향후 에이전트 기반 워크플로우의 성공을 개선하는 데 중요한 사회-기술적 요소와 인간-AI 협업 요인을 강조합니다.

AI coding agents are now submitting pull requests (PRs) to software projects, acting not just as assistants but as autonomous contributors. As these agentic contributions are rapidly increasing across real repositories, little is known about how they behave in practice and why many of them fail to be merged. In this paper, we conduct a large-scale study of 33k agent-authored PRs made by five coding agents across GitHub. (RQ1) We first quantitatively characterize merged and not-merged PRs along four broad dimensions: 1) merge outcomes across task types, 2) code changes, 3) CI build results, and 4) review dynamics. We observe that tasks related to documentation, CI, and build update achieve the highest merge success, whereas performance and bug-fix tasks perform the worst. Not-merged PRs tend to involve larger code changes, touch more files, and often do not pass the project's CI/CD pipeline validation. (RQ2) To further investigate why some agentic PRs are not merged, we qualitatively analyze 600 PRs to derive a hierarchical taxonomy of rejection patterns. This analysis complements the quantitative findings in RQ1 by uncovering rejection reasons not captured by quantitative metrics, including lack of meaningful reviewer engagement, duplicate PRs, unwanted feature implementations, and agent misalignment. Together, our findings highlight key socio-technical and human-AI collaboration factors that are critical to improving the success of future agentic workflows.