에이전트 기반 프로그램 수정 시스템에서 버그 재현 테스트의 동적 생성

Dynamic Cogeneration of Bug Reproduction Test in Agentic Program Repair

버그 재현 테스트(BRT)는 다양한 에이전트 기반 자동 프로그램 수정(APR) 시스템에서 주로 유망한 수정 사항을 검증하고 수정 생성 과정을 돕는 데 사용됩니다. 실제로는 개발자가 패치를 제출할 때, 종종 수정 사항과 함께 BRT를 구현합니다. 저희가 에이전트 기반 APR 시스템을 배포하면서 얻은 경험에 따르면, 개발자들은 AI가 생성한 패치 내에서도 BRT가 포함되기를 원하며, 이는 수정의 신뢰도를 높이는 데 도움이 됩니다. 그러나 기존의 APR 시스템은 BRT와 수정 사항을 별도로 생성하거나, 최종 패치에서 수정 사항만을 생성하는 데 집중하는 경향이 있습니다. 본 논문에서는 에이전트 기반 APR 시스템에서 동시 생성(cogeneration)이라는 맥락에서 연구를 진행합니다. 여기서 APR 에이전트는 동일한 패치 내에서 수정 사항과 BRT를 모두 생성하도록 지시됩니다. 저희는 Google에서 보고된 120개의 버그를 사용하여 다양한 동시 생성 전략의 효과를 평가하고, APR 에이전트의 행동에 미치는 영향을 분석했습니다. 또한, 테스트 변경 정보를 고려하여 타당한 수정 사항(및 타당한 BRT)을 포함하는 패치를 선택하는 패치 선택기를 개발하고 평가했습니다. 마지막으로, 실패한 동시 생성 시나리오의 근본 원인을 분석했습니다. 중요한 점은, 동시 생성 기능을 통해 APR 에이전트는 별도의 BRT 에이전트를 사용하는 경우와 비교하여 적어도 동일한 수의 버그에 대한 BRT를 생성할 수 있으며, 동시에 타당한 수정 사항의 생성 속도를 저하시키지 않아, 수정 및 BRT를 위한 별도의 생성 파이프라인을 대규모로 유지하고 조정하는 데 필요한 엔지니어링 노력을 줄일 수 있다는 것을 보여줍니다.

Bug Reproduction Tests (BRTs) have been used in many agentic Automated Program Repair (APR) systems, primarily for validating promising fixes and aiding fix generation. In practice, when developers submit a patch, they often implement the BRT alongside the fix. Our experience deploying agentic APR reveals that developers similarly desire a BRT within AI-generated patches to increase their confidence. However, canonical APR systems tend to generate BRTs and fixes separately, or focus on producing only the fix in the final patch. In this paper, we study agentic APR in the context of cogeneration, where the APR agent is instructed to generate both a fix and a BRT in the same patch. We evaluate the effectiveness of different cogeneration strategies on 120 human-reported bugs at Google and characterize different cogeneration strategies by their influence on APR agent behavior. We develop and evaluate patch selectors that account for test change information to select patches with plausible fixes (and plausible BRTs). Finally, we analyze the root causes of failed cogeneration trajectories. Importantly, we show that cogeneration allows the APR agent to generate BRTs for at least as many bugs as a dedicated BRT agent, without compromising the generation rate of plausible fixes, thereby reducing engineering effort in maintaining and coordinating separate generation pipelines for fix and BRT at scale.