GREPO: 저장소 레벨 버그 위치 추적을 위한 그래프 신경망 벤치마크

GREPO: A Benchmark for Graph Neural Networks on Repository-Level Bug Localization

저장소 레벨 버그 위치 추적은 버그를 수정하기 위해 어떤 코드를 변경해야 하는지 식별하는 중요한 소프트웨어 공학 과제입니다. 기존의 대규모 언어 모델(LLM)은 컨텍스트 윈도우 제한으로 인해 전체 코드 저장소를 처리할 수 없기 때문에 이 작업에 적합하지 않은 경우가 많습니다. 따라서 키워드 매칭, 텍스트 유사성, 그리고 간단한 그래프 기반 휴리스틱(예: 너비 우선 탐색)과 같은 다양한 검색 방법이 일반적으로 사용됩니다. 그래프 신경망(GNN)은 복잡하고 저장소 전체에 걸친 의존성을 모델링할 수 있다는 장점 때문에 유망한 대안을 제공합니다. 그러나 전용 벤치마크의 부족으로 인해 GNN의 활용이 제한되었습니다. 이러한 격차를 해소하기 위해, 저장소 규모의 버그 위치 추적 작업을 위한 최초의 GNN 벤치마크인 GREPO를 소개합니다. GREPO는 86개의 Python 저장소와 47,294개의 버그 수정 작업으로 구성되어 있으며, GNN 처리를 위한 그래프 기반 데이터 구조를 제공합니다. 다양한 GNN 아키텍처에 대한 우리의 평가는 기존 정보 검색 기준에 비해 뛰어난 성능을 보여줍니다. 이 연구는 버그 위치 추적에 대한 GNN의 잠재력을 강조하고 GREPO를 향후 연구를 위한 기반 리소스로 확립했습니다. 코드는 https://github.com/qingpingmo/GREPO 에서 확인할 수 있습니다.

Repository-level bug localization-the task of identifying where code must be modified to fix a bug-is a critical software engineering challenge. Standard Large Language Modles (LLMs) are often unsuitable for this task due to context window limitations that prevent them from processing entire code repositories. As a result, various retrieval methods are commonly used, including keyword matching, text similarity, and simple graph-based heuristics such as Breadth-First Search. Graph Neural Networks (GNNs) offer a promising alternative due to their ability to model complex, repository-wide dependencies; however, their application has been hindered by the lack of a dedicated benchmark. To address this gap, we introduce GREPO, the first GNN benchmark for repository-scale bug localization tasks. GREPO comprises 86 Python repositories and 47294 bug-fixing tasks, providing graph-based data structures ready for direct GNN processing. Our evaluation of various GNN architectures shows outstanding performance compared to established information retrieval baselines. This work highlights the potential of GNNs for bug localization and established GREPO as a foundation resource for future research, The code is available at https://github.com/qingpingmo/GREPO.