질의 응답 및 특징 기반 개발을 통한 저장소 수준의 소프트웨어 문서 평가

Evaluating Repository-level Software Documentation via Question Answering and Feature-Driven Development

소프트웨어 문서는 저장소 이해에 매우 중요합니다. 대규모 언어 모델(LLM)은 코드 조각에서 전체 저장소에 이르기까지 문서 생성 기능을 향상시키지만, 기존 벤치마크는 다음과 같은 두 가지 주요 한계를 가지고 있습니다. (1) 전체적인 저장소 수준의 평가가 부족하고, (2) LLM을 평가자로 사용하는 등 신뢰할 수 없는 평가 전략에 의존하며, 이는 모호한 기준과 제한적인 저장소 수준 지식으로 인해 문제가 발생합니다. 이러한 문제를 해결하기 위해, 저장소 수준의 소프트웨어 문서를 평가하기 위한 새로운 벤치마크인 SWD-Bench를 소개합니다. 문서 중심 개발에 영감을 받아, 저희는 LLM이 문서를 통해 기능을 이해하고 구현하는 능력을 평가하여 문서 품질을 측정하는 전략을 사용합니다. 이는 함수 중심 질의 응답(QA) 작업을 통해 측정됩니다. SWD-Bench는 세 가지 상호 연결된 QA 작업으로 구성됩니다. (1) 기능 감지: 기능이 설명되어 있는지 확인합니다. (2) 기능 위치: 관련 파일의 정확성을 평가합니다. (3) 기능 완성: 구현 세부 사항의 완전성을 측정합니다. 저희는 고품질 Pull Request를 분석하고 저장소 수준의 컨텍스트를 추가하여 4,170개의 항목으로 구성된 벤치마크를 구축했습니다. 실험 결과는 현재 문서 생성 방법의 한계를 드러내고, 소스 코드가 보완적인 가치를 제공한다는 것을 보여줍니다. 주목할 만한 점은, 가장 성능이 좋은 방법에서 생성된 문서가 SWE-Agent의 문제 해결률을 20.00% 향상시켰으며, 이는 고품질 문서가 문서 중심 개발을 지원하는 데 실질적인 가치를 가지고 있음을 보여줍니다.

Software documentation is crucial for repository comprehension. While Large Language Models (LLMs) advance documentation generation from code snippets to entire repositories, existing benchmarks have two key limitations: (1) they lack a holistic, repository-level assessment, and (2) they rely on unreliable evaluation strategies, such as LLM-as-a-judge, which suffers from vague criteria and limited repository-level knowledge. To address these issues, we introduce SWD-Bench, a novel benchmark for evaluating repository-level software documentation. Inspired by documentation-driven development, our strategy evaluates documentation quality by assessing an LLM's ability to understand and implement functionalities using the documentation, rather than by directly scoring it. This is measured through function-driven Question Answering (QA) tasks. SWD-Bench comprises three interconnected QA tasks: (1) Functionality Detection, to determine if a functionality is described; (2) Functionality Localization, to evaluate the accuracy of locating related files; and (3) Functionality Completion, to measure the comprehensiveness of implementation details. We construct the benchmark, containing 4,170 entries, by mining high-quality Pull Requests and enriching them with repository-level context. Experiments reveal limitations in current documentation generation methods and show that source code provides complementary value. Notably, documentation from the best-performing method improves the issue-solving rate of SWE-Agent by 20.00%, which demonstrates the practical value of high-quality documentation in supporting documentation-driven development.