Code-QA-Bench: 코드 추론과 문서 암기 분리 - 저장소 레벨 질의응답

Code-QA-Bench: Separating Code Reasoning from Documentation Memorization in Repository-Level QA

본 논문에서는 Code-QA-Bench를 소개합니다. 이는 저장소 수준의 코드 이해 벤치마크를 생성하는 완전 자동화 프레임워크로, 진정한 코드 이해 능력을 문서 검색 및 사전 학습된 지식 암기 능력과 분리하도록 설계되었습니다. 이 프레임워크는 다음과 같은 두 가지 방법론적 기여를 합니다. (1) '답 먼저 생성' 파이프라인: 도구를 사용하는 에이전트가 소스 코드를 탐색하여 검증된 정답을 먼저 생성한 후 질문을 유도하며, 이를 통해 모든 작업이 실제 코드 구조에 기반하도록 보장합니다. (2) 세 가지 조건의 실험 설계: 에이전트를 '개방형' (저장소 없음), '코드만' (문서 제거), 그리고 '완전' (전체 저장소) 조건에서 평가하여, 문서의 유용성과 암기 능력을 직접적으로 정량화합니다. 10개의 Python 저장소(SWE-Bench 기반)에서 528개의 코드 기반 작업과 100개의 문서 의존 작업을 생성했으며, LLM 심판을 통해 정확성, 완전성 및 구체성을 기준으로 평가했습니다. 네 가지 최첨단 모델에 대한 실험 결과, 코드 접근성이 가장 중요한 요소임을 확인했습니다 (+0.23의 평균 성능 향상, 개방형 조건 대비). 문서는 제한적인 추가 이점을 제공합니다 (+0.071, 문서 의존 작업 기준), 그리고 '코드만' 조건은 '완전' 조건과 유사한 성능을 보이며, 이는 설계의 유효성을 입증합니다. 이 프레임워크는 오픈 소스이며, 모든 잘 문서화된 Python 저장소에 적용 가능합니다.

We present Code-QA-Bench, a fully automated framework for synthesizing repository-level code understanding benchmarks that separates genuine code comprehension from documentation recall and pretraining memorization. The framework makes two methodological contributions: (1) an answer-first generation pipeline where a tool-equipped agent explores source code to produce verified gold answers before deriving questions, ensuring every task is grounded in real code structure; and (2) a three-condition experimental design evaluating agents under closed-book (no repository), code-only (documentation removed), and documented (full repository) conditions, with deltas directly quantifying documentation utility and memorization. We generate 528 code-derivable and 100 doc-dependent tasks across 10 Python repositories from SWE-Bench, scored by an LLM judge on accuracy, completeness, and specificity. Experiments on four frontier models reveal that code access is the dominant factor (+0.23 mean gain over closed-book), documentation provides modest additional benefit (+0.071 on doc-dependent tasks), and code-only $\approx$ documented on code-derivable tasks, validating the design. The framework is open-source and applicable to any well-documented Python repository.