SWE-Doctor: 다각적인 버그 재현 테스트로부터 얻은 런타임 진단을 통해 소프트웨어 엔지니어링 에이전트를 안내하는 방법

SWE-Doctor: Guiding Software Engineering Agents with Runtime Diagnosis from Multi-Faceted Bug Reproduction Tests

대규모 언어 모델(LLM) 기반의 소프트웨어 엔지니어링 에이전트는 문제 보고서와 코드 저장소에서 패치를 생성하여 소프트웨어 문제를 해결하도록 개발되고 있습니다. 버그 재현 테스트(BRT)는 이러한 에이전트의 중요한 구성 요소이며, 패치 검증에 유용하다는 것이 입증되었습니다. 그러나 BRT가 패치 생성을 위한 핵심 단계에도 도움이 되는지는 아직 명확하지 않습니다. 본 연구에서는 예비 연구를 통해 고급 BRT 생성기를 직접 사용하여 패치 생성을 안내하는 것이 효과적이지 않다는 것을 확인했습니다. 실패-실패 BRT는 에이전트를 잘못된 방향으로 유도할 수 있으며, 성공-성공 BRT조차 제한적인 또는 부정적인 결과를 가져옵니다. 분석 결과, 두 가지 이유가 밝혀졌습니다. 성공-성공 BRT는 보고된 문제의 한 측면만을 다루어 부분적인 패치를 생성할 수 있으며, 실패-실패 BRT는 직접적인 패치 생성을 위한 신뢰할 수 있는 대상이 아닙니다. 이러한 통찰력을 바탕으로, 본 연구에서는 SWE-Doctor라는 소프트웨어 문제 해결 에이전트를 제안합니다. SWE-Doctor는 문제에 명시된 다양한 요구 사항을 충족하는 다각적인 BRT를 생성하고, 이러한 BRT를 실행 및 디버깅하여 런타임 기반의 진단 기록을 구축하며, 마지막으로 BRT 생성을 통해 추론된 위치 정보와 함께 이러한 진단을 사용하여 패치 생성을 안내하고 부분적인 패치를 줄입니다. SWE-Doctor는 널리 사용되는 SWE-bench Verified 및 SWE-bench Pro에서 파이썬 버그 수정 문제에 대해 다양한 LLM 백엔드를 사용하여 평가되었습니다. 실험 결과, SWE-Doctor는 모든 10개의 LLM-벤치마크 조합에서 기존 에이전트보다 일관되게 우수한 성능을 보였으며, SWE-bench Verified에서는 평균 해결률이 75.7%, SWE-bench Pro에서는 59.4%를 달성했습니다. 특히 더 어려운 SWE-bench Pro의 경우, SWE-Doctor는 기준 에이전트에 비해 평균 해결률을 8.0~8.9% 포인트 향상시켰습니다.

Large language model (LLM)-based software engineering agents are increasingly developed to resolve software issues by generating patches from issue reports and code repositories. Bug reproduction tests (BRTs) are an important building block for such agents and have been shown useful for patch validation. However, it remains unclear whether BRTs can also help the more central stage of patch generation. We first conduct a preliminary study and find that directly using advanced BRT generators to guide patch generation is not beneficial: fail-to-fail BRTs can mislead agents, while even fail-to-pass BRTs bring limited or negative gains. Our analysis reveals two reasons: fail-to-pass BRTs may cover only one manifestation of the reported issue, leading to partial patches, whereas fail-to-fail BRTs are unreliable as direct patch-generation targets. Motivated by these insights, we propose SWE-Doctor, a software issue resolution agent that guides patch generation with runtime diagnoses derived from multi-faceted BRT executions. SWE-Doctor first generates multi-faceted BRTs for different behavioral requirements stated in the issue, then executes and debugs these BRTs to construct runtime-grounded diagnosis records, and finally uses the diagnoses together with localization information inferred during BRT generation to guide patch generation and reduce partial patches. We evaluate SWE-Doctor on Python bug-fixing issues from the widely adopted SWE-bench Verified and SWE-bench Pro across five LLM backends. SWE-Doctor consistently outperforms existing agents across all 10 LLM-benchmark combinations, achieving average resolution rates of 75.7% on SWE-bench Verified and 59.4% on SWE-bench Pro. In particular, on the more challenging SWE-bench Pro, SWE-Doctor improves the average resolution rate by 8.0-8.9 percentage points over the baseline agents.