요구사항 명확화, 계획 수립 및 코드 생성을 위한 코딩 에이전트를 위한 통합 문제 해결 벤치마크

A Unified Issue Resolution Benchmark for Requirement Clarification, Planning, and Code Generation for Coding Agents

대규모 언어 모델 기반의 코딩 에이전트는 기존 코드 저장소를 수정하는 데 점점 더 많이 사용되고 있습니다. 예를 들어, 기능을 추가하거나 버그를 수정할 수 있습니다. 그러나 현재 저장소 수준의 벤치마크는 일반적으로 최종 패치가 테스트를 통과하는지 여부만을 평가합니다. 사용자 요청을 충족하려면 긴 일련의 상호 의존적인 추론 및 결정을 내려야 합니다. 에이전트는 명시적이고 암묵적인 요구 사항을 파악하고, 저장소 기반 구현 계획을 수립하며, 이를 정확한 코드로 변환해야 합니다. 단순히 합격/불합격으로 결과를 판단하는 것은 잘못된 결과가 발생했을 때, 올바른 패치를 위한 요구 사항 및 구현 과정에서 어떻게 벗어났는지 설명할 수 없습니다. 이러한 격차를 해소하기 위해, 저희는 실행 가능한 패치 평가와 (1) 요구사항 명확화 및 (2) 구현 계획에 대한 검증된 정답(GT)을 결합한 저장소 수준의 벤치마크인 SWE-RPG를 소개합니다. 이러한 중간 단계의 GT는 명확화, 계획 수립, 코드 생성 및 결과물 제출 전반에 걸쳐 코딩 에이전트의 전체 경로에 대한 GT 기반의 분석을 지원합니다. SWE-RPG는 31개의 Python 및 Java 저장소에서 추출한 163개의 작업으로 구성되어 있으며, 여기에는 113개의 버그 수정과 50개의 기능 추가가 포함됩니다. 저희는 Claude Code, Codex, OpenCode를 포함한 3개의 코딩 에이전트와 Claude-Sonnet-5 및 GPT-5.6-Terra를 포함한 6개의 대규모 언어 모델 백엔드를 사용하여 평가했습니다. 결과에 따르면, 현재 인기 있는 코딩 에이전트는 여전히 기존 저장소에서 사용자 요청을 수행하는 데 어려움을 겪고 있으며, SWE-RPG에서 평균 해결률은 31.5%에 불과합니다. 중간 단계 GT 분석 결과, 암묵적인 요구 사항 파악이 주요 병목 현상이며, 에이전트 실행의 24.5% ~ 46.0%를 차지하는 것으로 나타났습니다. 이러한 결과는 코딩 에이전트를 개선하기 위한 중요한 방향으로 암묵적인 요구 사항 파악을 제시합니다. 벤치마크 데이터 및 평가 코드는 https://github.com/Xin-Zhou-smu/SWE-RPG-Bench 에서 확인할 수 있습니다.

Large language model-powered coding agents are increasingly used to modify existing code repositories, for example, by adding features or fixing bugs. Yet existing repository-level benchmarks typically evaluate only whether the final patch passes tests. Satisfying a user request requires a long chain of interdependent reasoning and decisions: an agent must recover explicit and implicit requirements, formulate a repository-grounded implementation plan, and translate it into correct code. A pass/fail outcome cannot characterize how an unsuccessful trajectory diverges from the requirements and implementation process needed for a correct patch. To address this gap, we introduce SWE-RPG, a repository-level benchmark that combines executable patch evaluation with validated ground-truth references (GTs) for (1) Requirement Clarification and (2) Implementation Planning. These intermediate GTs support retrospective, GT-aligned diagnosis of complete coding-agent trajectories across clarification, planning, code generation, and artifact submission. SWE-RPG comprises 163 tasks from 31 Python and Java repositories, including 113 bug fixes and 50 feature additions. We evaluate 3 coding agents, including Claude Code, Codex, and OpenCode, with 6 large language model backends, including Claude-Sonnet-5 and GPT-5.6-Terra. Results show that the evaluated popular coding agents still struggle to implement user requests in existing repositories, achieving an average resolved rate of only 31.5% on SWE-RPG. Intermediate-GT diagnosis further identifies implicit requirement recovery as the main bottleneck, accounting for 24.5%--46.0% of agent runs. This result suggests implicit-requirement recovery as a key candidate direction for improving coding agents. The benchmark data and evaluation code are available at https://github.com/Xin-Zhou-smu/SWE-RPG-Bench.