ReproRepo: GitHub 저장소 이슈를 활용한 재현성 감사 확장

ReproRepo: Scaling Reproducibility Audits with GitHub Repository Issues

논문 및 공개 코드를 기반으로 연구 결과를 재현하는 것은 과학 발전의 핵심입니다. 기존 연구에서는 LLM 에이전트가 재현성을 지원하는 데 도움이 되는지 평가하기 위한 벤치마크를 도입했지만, 데이터 큐레이션 및 평가에 상당한 수동 노력이 필요하여 확장하기 어렵다는 단점이 있습니다. 본 논문에서는 GitHub 사용자들이 제기한 이슈를 활용하여 실제 재현 방해 요소를 자연스럽게 감지하는 확장 가능한 재현성 평가 프레임워크인 ReproRepo를 소개합니다. ReproRepo를 주요 학회에서 발표된 최근 1,149개의 머신러닝 논문에 적용하고, 네 가지 최첨단 모델-에이전트 구성을 평가했습니다. 결과적으로 LLM 에이전트는 코드를 실행하지 않고도 논문-저장소 쌍으로부터 많은 실제 재현성 문제를 식별할 수 있음을 확인했습니다. 본 연구에서 가장 우수한 성능을 보인 에이전트(Codex with GPT-5.5)는 연구 대상 논문의 약 90%에 대해 관련 있는 인간 보고 재현 방해 요소를 최소 하나 이상 발견했습니다. 추가 분석 결과, 에이전트는 눈에 띄는 실패를 식별하고 적절한 의미 영역을 파악하는 데 특히 효과적이지만, 정확한 위치 추정에는 여전히 한계가 있을 수 있습니다. ReproRepo는 실제 재현성 감사에서 LLM 에이전트를 평가하기 위한 재사용 가능하고 확장 가능한 프레임워크로 활용될 수 있습니다. 관련 코드는 https://github.com/LithiumDA/ReproRepo 에서 확인할 수 있습니다.

Reproducing research results from papers and released code is central to scientific progress. Existing works have introduced benchmarks to evaluate whether LLM agents can assist with reproducibility, but they are difficult to scale due to their reliance on substantial manual effort for data curation and evaluation. We introduce ReproRepo, a scalable framework for reproducibility evaluation that leverages human-raised GitHub issues as naturally occurring supervision on realistic reproduction blockers. We instantiate ReproRepo on 1,149 recent machine learning papers from major conferences and evaluate four frontier model-agent configurations. Our results show that LLM agents, even without executing code, can identify many real-world reproducibility problems from paper-repository pairs: the best agent in our study, namely Codex with GPT-5.5, surfaces at least one semantically related human-reported blocker for ~90% of papers in the study. Further analysis shows that agents are particularly effective for surfacing visible failures and identifying the right semantic region, but may still be insufficient in exact localization. ReproRepo can serve as a reusable, scalable framework for future evaluations of LLM agents on real-world reproducibility auditing. Our code is released at https://github.com/LithiumDA/ReproRepo.