SWE-Future: 미래 지향적 소프트웨어 엔지니어링 에이전트를 위한 예측 기반 데이터 합성

SWE-Future: Forecast-Conditioned Data Synthesis for Future-Oriented Software Engineering Agents

현실적인 코딩 에이전트 벤치마크는 종종 공개된 GitHub 이슈 및 풀 리퀘스트를 재사용하여, 모델의 사전 학습, 미세 조정, 합성 데이터 생성 또는 벤치마크 중심 모델 선택 과정에서 중복 문제를 야기할 수 있습니다. 완전히 합성된 작업은 과거 데이터를 직접적으로 사용하지 않지만, 실제 저장소의 요구 사항과 동떨어질 위험이 있습니다. 본 연구에서는 미래 지향적인 코딩 작업을 위한 예측 기반 데이터 합성 방법인 SWE-Future를 제안합니다. SWE-Future는 시간 $T_0$ 시점의 예측 스냅샷을 활용하여, $T_0$ 이전의 저장소 데이터를 기반으로 향후 기능 구현/개선, 버그 수정 및 리팩토링 작업 유형을 예측합니다. 먼저, 이 예측 단계를 사전에 검증합니다. 예측이 완료되면, 이후 풀 리퀘스트는 예측된 작업 유형과 실제 저장소 작업 간의 일치 여부를 측정하는 데만 사용됩니다. 80개의 저장소를 대상으로 한 연구에서, 제안하는 예측 모델은 주요 의미 일치 지표 기준으로 58.1%의 미래 작업 관련성을 달성했습니다. 이후 검증된 작업 유형을 조건 신호로 사용하여, 실제 풀 리퀘스트를 재사용하지 않고 작업 생성 스냅샷을 기반으로 61개의 저장소에서 200개의 코딩 에이전트 데이터 세트를 합성합니다. SWE-Future는 저장소 진화 예측이 현실적이고 미래 지향적인 코딩 작업 합성을 유도하며, 동시에 과거 풀 리퀘스트 재사용에 대한 직접적인 의존성을 줄일 수 있음을 보여줍니다.

Realistic coding-agent benchmarks often replay public GitHub issues and pull requests, making them vulnerable to overlap with model pretraining, fine-tuning, synthetic-data generation, or benchmark-driven model selection. Fully synthetic tasks avoid direct historical replay, but can drift away from real repository needs. We propose SWE-Future, a forecast-conditioned data synthesis method for future-oriented coding tasks. Given a forecast snapshot at time $T_0$, the method uses only pre-$T_0$ repository evidence to forecast future feature implementation/enhancement, bugfix, and refactor task families. We first validate this forecasting step retrospectively: after forecasts are fixed, later pull requests are used only to measure whether the predicted task families match future repository work. In an 80-repository study, the forecaster achieves 58.1\% future-work relevance under the main semantic matching metric. We then use validated forecast families as conditioning signals to synthesize a 200-task coding-agent dataset across 61 repositories from a task-generation snapshot, rather than replaying the later pull requests used for validation. SWE-Future shows that repository-evolution forecasts can guide realistic, future-oriented coding-task synthesis while reducing direct dependence on historical pull-request replay.