실패를 빠르게 감지하고 재시작을 지능적으로 수행: SWE 에이전트의 작업에 대한 조기 실패 예측 및 재시작

Fail-Fast, Restart-Smart: Early Failure Prediction and Restart for SWE Agentic Tasks

소프트웨어 엔지니어링(SWE) 에이전트는 저장소 수준의 문제를 해결하기 위해 장기간의 작업을 수행하며, 이때 컨텍스트가 증가함에 따라 비용 또한 높아집니다. 실패한 작업은 일반적으로 더 길며, 불필요한 탐색이나 반복을 보이는 경향이 있는데, 이는 일부 실패가 완료되기 전에 감지될 수 있음을 시사합니다. 그러나 조기에 작업을 종료하면 성공했을 가능성이 있는 경로를 중단할 위험이 있으며, 반대로 비실패적인 작업이라도 유용한 저장소 변경 사항을 포함할 수 있습니다. 본 논문에서는 단일 활성 경로에 대한 두 단계 제어기인 FailFast-RestartSmart를 제시합니다. FailFast는 0.6B 파라미터의 경량 모니터로, 터미널 및 밀집형 실패-통과(fail-to-pass) 방식으로 학습되어 정책 로짓이나 은닉 상태 없이 관찰 가능한 부분 정보로부터 실패를 예측합니다. 오류가 감지되면 RestartSmart는 이전 프롬프트 기록 없이 동일한 정책을 사용하여 새로운 작업을 시작하고, 중단된 저장소 변경 사항을 옵션으로 제공하여 에이전트가 검토, 적용 또는 삭제할 수 있도록 합니다. SWE-bench Verified 데이터셋에서 Qwen3.6-27B 경로로 학습된 모니터는 다른 세 가지 정책으로 전이되며, 목표 오탐율 5%에서 실행 토큰을 14.6%-20.4% 절약합니다. Qwen3.6-27B 모델의 경우, 20.4%의 절감 효과는 단계별 AgentStop 방식이 달성한 12.5%보다 높습니다. 목표 오탐율 25%에서 RestartSmart는 Qwen3.6-27B 모델의 성공률을 66.6%에서 71.8%로 향상시키는 반면, 콜드 리스타트는 66.8%에 그쳤습니다. 이러한 결과들은 순차적인 동일 정책 복구를 통한 조기 종료가 효과적임을 뒷받침합니다.

Software engineering (SWE) agents resolve repository-level issues through long trajectories that grow increasingly expensive as context accumulates. Failed runs tend to be longer and exhibit redundant exploration or looping, suggesting that some failures may be detectable before completion. Early termination, however, risks interrupting trajectories that would otherwise succeed; conversely, an unsuccessful trajectory may still contain useful repository edits. We present FailFast-RestartSmart, a two-stage controller for a single active trajectory. FailFast is a lightweight 0.6B monitor trained with terminal and dense fail-to-pass supervision to predict failure from observable prefixes without policy logits or hidden states. Upon an alarm, RestartSmart launches a fresh same-policy rollout without prior prompt history and offers the interrupted repository diff as an optional overlay that the agent may inspect, apply, or discard. On SWE-bench Verified, a monitor trained solely on Qwen3.6-27B trajectories transfers to three other policies, including a closed-API model, and saves 14.6%-20.4% of execution tokens at a target 5% false-positive rate; on Qwen3.6-27B, its 20.4% saving exceeds the 12.5% achieved by our per-step AgentStop adaptation. At a target 25% false-positive rate, RestartSmart raises Qwen3.6-27B resolution from 66.6% to 71.8%, whereas cold restart reaches only 66.8%. Together, these results support early termination with sequential same-policy recovery.