Change2Task: 저장소 변경 사항을 활용한 실행 가능한 코딩 에이전트 작업 및 환경

Change2Task: From Repository Changes to Executable Coding Agent Tasks and Environments

코딩 에이전트의 성능 향상을 위해서는 지속적인 학습, 벤치마킹 및 지속적인 평가를 위한 실행 가능한 데이터가 필요합니다. 각 작업은 현실적인 소프트웨어 상태와 사양, 개발 도구 및 신뢰할 수 있는 검증 과정을 포함해야 합니다. 이러한 데이터 공급을 확장하기 위해, 본 논문에서는 저장소 기록에 기반하여 병합된 풀 리퀘스트(pull request)를 활용하여 동일 저장소의 안정적인 최신 버전에서 검증된 작업으로 변환하는 시스템인 Change2Task를 제안합니다. Change2Task는 과거 증거를 진화된 코드와 연결하고, 패치 역전(Patch Reversal), 코드 매핑 또는 에이전트 재구성을 통해 작업 상태를 재구성하며, 안정적인 기본 상태에서 작업 상태 및 복원된 상태까지의 전체 라이프사이클을 검증합니다. Change2Task는 유지 관리되는 환경에서 개발자 증거에 기반한 다양한 작업을 생성하여 코딩 에이전트 학습 및 평가를 위한 실행 가능한 데이터를 제공하는 동시에, 반복적인 환경 설정, 저장 공간 확보 및 작업 구성 노력을 줄입니다. 본 논문에서는 버그 수정, 기능 추가, 테스트 생성, 애플리케이션 프로그래밍 인터페이스(API) 마이그레이션 및 보안 복구 등 5가지 일반적이고 널리 사용되는 코딩 에이전트 작업 유형에 대한 Change2Task의 성능을 평가했습니다. 1,130개의 작업 구성 후보를 시작으로, Change2Task는 이러한 작업 유형에서 79.6%의 검증된 작업 구성 성공률을 달성했습니다. 비교 대상인 풀 리퀘스트 기반의 기본 작업 구성 방식과 비교했을 때, Change2Task는 29.2% 더 많은 수의 검증된 작업을 복원할 수 있었습니다. 과거 데이터 및 재구성된 사례는 에이전트 평가 하에서 최대 98.0%의 일치율을 보였으며, 최신 버전을 활용함으로써 전체 파이프라인에서의 측정된 비용을 10.8% 절감할 수 있었습니다.

Scaling coding agents requires a continuing supply of executable data for training, benchmarking, and continuous evaluation. Each task must couple a realistic software state with a specification, development tools, and reliable verification. To expand this supply, we present Change2Task, a system grounded in repository history that converts merged pull requests into verified tasks on healthy modern revisions of the same repository. It aligns historical evidence with evolved code, reconstructs task states through Patch Reversal, Code Mapping, or Agent Reconstruction, and validates the lifecycle from a healthy base to a task state and a restored state. By deriving multiple tasks grounded in developer evidence from maintained environments, Change2Task provides executable data for coding agent training and evaluation while reducing repeated environment setup, storage, and task construction effort. We evaluate the system through five common and widely adopted coding agent task families: Bug Fix, Feature Addition, Test Generation, Application Programming Interface Migration, and Security Repair. Starting from 1,130 source changes eligible for construction, Change2Task achieves 79.6% verified task construction success across these task families. On a matched candidate set, it recovers 29.2% more verified tasks than a construction baseline based on pull requests. Historical and reconstructed cases achieve up to 98.0% matched outcome agreement under agent evaluation, while reuse of modern bases reduces measured expenditure across the complete pipeline by 10.8%.