SWE-Together: 상호작용 사용자 세션에서 코딩 에이전트 평가

SWE-Together: Evaluating Coding Agents in Interactive User Sessions

대부분의 코딩 에이전트 벤치마크는 정적입니다. 즉, 에이전트는 전체 작업 설명을 미리 받고 최종 코드만으로 평가됩니다. 실제 코딩 지원은 사용자가 목표를 명확히 하고 제약을 추가하며 오류를 수정하는 등 여러 단계로 이루어지는 상호작용입니다. 본 연구에서는 실제 사용자-에이전트 코딩 세션을 기반으로 재구성된 다단계 벤치마크인 SWE-Together를 소개합니다. 실제 상호작용의 검증 가능성을 확보하기 위해, 11,260개의 기록된 세션에서 복구 가능한 저장소 상태, 명확한 사용자 목표, 그리고 관찰 가능한 결과를 갖는 109개의 저장소 수준 작업을 선별했습니다. 이러한 상호작용을 여러 에이전트에게 적용하기 위해, 원래 사용자의 의도를 보존하고 코딩 에이전트의 진행 상황에 따라 피드백을 제공하는 반응형 LLM 기반 사용자 시뮬레이터를 구축했습니다. 에이전트를 협력자로서 평가하기 위해, 최종 저장소의 정확도와 함께 상호작용 중에 필요한 수정 피드백 횟수를 측정합니다. 최첨단 코딩 에이전트에 대한 실험 결과, 성능이 더 뛰어난 에이전트는 일반적으로 최종 성공률이 높으면서 개입 횟수가 적어 사용자 경험 개선에 기여하는 것으로 나타났습니다.

Most coding-agent benchmarks are static: an agent receives a complete task description up front and is judged only by its final code. Real coding assistance is interactive, with users clarifying goals, adding constraints, and correcting mistakes over multiple turns. We introduce SWE-Together, a multi-turn benchmark reconstructed from real user-agent coding sessions. To make real interactions verifiable, we curate 109 repository-level tasks from 11,260 recorded sessions, selecting sessions with recoverable repository states, clear user goals, and observable outcomes. To replay these interactions across agents, we build a reactive LLM-based user simulator that preserves the original users' intents and provides feedback when the coding agent's progress requires it. To evaluate agents as collaborators, we measure both final repository correctness and the number of corrective feedback turns required during the interaction. Experiments with frontier coding agents show that stronger agents generally achieve higher final success rates while requiring fewer interventions, suggesting an improved user experience.