실패-통과 기준을 넘어: 공동 생성된 버그 재현 테스트 및 수정의 반복적인 강화

Beyond Fail-to-Pass: Iterative Hardening of Co-Generated Bug Reproduction Tests and Fixes

대규모 언어 모델(LLM)은 실제 버그에 대한 자동 프로그램 수리(APR)를 더욱 실용적으로 만들었지만, 버그 보고서에서 직접 수리를 수행하는 것은 여전히 제약이 많습니다. 버그 재현 테스트(BRT)는 버그 보고서를 실행 가능한, 버그 특유의 신호로 변환하여 수리를 안내하고 후보 패치를 검증하는 데 도움을 주어 이러한 격차를 해소합니다. 기존 연구에서는 BRT 생성을 APR의 핵심 하위 문제로 다루고 있으며, 주로 생성된 BRT를 '실패-통과(F->P)' 기준으로 평가하는데, 이는 테스트가 버그가 있는 코드에서는 실패하고 수정된 코드에서는 통과해야 한다는 기준입니다. 본 논문에서는 F->P만으로는 다운스트림 수리를 개선한다는 목표를 달성하기에 충분하지 않음을 보여줍니다. 특히 일부 F->P BRT는 엄격하지 않아 관찰된 증상을 재현하지만 여전히 합리적인 동시에 잘못된 패치를 허용합니다. 우리는 이러한 누락된 품질 차원을 F->P BRT를 엄격한 것과 느슨한 것으로 구분하여 공식화하고, 경험적으로 엄격한 BRT만이 일관되게 수리 성공률을 향상시킨다는 것을 보여줍니다. 또한 공동 생성이 테스트-수정 오류 결합을 초래한다는 사실을 발견했는데, 이는 경로 내에서 F->P 검사가 통과하더라도 생성된 패치와 생성된 테스트 모두가 잘못되었을 수 있습니다. 이러한 연구 결과를 바탕으로, 우리는 Lax 신호를 루프 내 수렴 기준으로 사용하는 공동 생성 프레임워크인 CoHarden을 제안합니다. CoHarden은 먼저 수정 전에 테스트를 생성한 다음, 생존하는 변이 패치를 통해 반복적으로 테스트와 수정을 강화하여 생성된 테스트가 더 이상 Lax 회귀를 허용하지 않도록 합니다. 실험 결과, CoHarden은 SWE-bench Verified 데이터셋에서 69.4%의 해결률과 78.9%의 F->P 달성률을 보였으며, 가장 강력한 수리 전용 및 공동 생성 기준 모델보다 각각 +9.6% 및 +7.9%p 더 높은 해결률을 기록했으며, 이는 LLM 아키텍처와 벤치마크에서 일관된 성능 향상을 보여줍니다.

Large language models (LLMs) have made automated program repair (APR) increasingly practical for real-world bugs, but repairing directly from bug reports remains underconstrained. Bug reproduction tests (BRTs) help close this gap by turning a bug report into an executable, bug-specific signal that can guide repair and validate candidate patches. Existing work has therefore studied BRT generation as a core subproblem in APR and mainly evaluates a generated BRT using the fail-to-pass (F->P) criterion, which requires the test to fail on the buggy code but pass on the golden fix. We show that F->P alone is insufficient when the goal of a BRT is to improve downstream repair. In particular, some F->P BRTs are lax, reproducing the observed symptom yet still admitting plausible-but-incorrect patches. We formalize this missing quality dimension by separating F->P BRTs into rigorous and lax ones, and show empirically that only the former consistently improve repair success. We further find that co-generation introduces test--fix error coupling, where the in-trajectory fail-to-pass (F->P) check can pass even when both the generated patch and generated test are wrong. Based on these findings, we propose CoHarden, a co-generation framework that uses the Lax signal as an in-loop convergence criterion. CoHarden first generates a test before any fix, then iteratively hardens the test and fix against surviving mutation patches until the generated test no longer admits Lax regressions. Experiments show that CoHarden reaches 69.4% Resolved and 78.9% F->P on SWE-bench Verified, outperforming the strongest fix-only and cogeneration baselines by +9.6 and +7.9 percentage points in Resolved, respectively, with consistent gains across LLM backbones and benchmarks.