SWE-Touch: 사용자가 코드를 수정할 때 코딩 에이전트의 성능을 평가하는 방법

SWE-Touch: Benchmarking Coding Agents When Users Touch the Code

실제 소프트웨어 개발 환경에서는 코딩 에이전트가 다른 사용자와 함께 작업하며, 사용자들이 진행 중인 작업 중에 코드를 검토하고 수정할 수 있습니다. 그러나 기존의 리포지토리 수준 벤치마크는 일반적으로 에이전트가 단독으로 작업하는 경우를 평가하거나 사용자 참여를 메시지로 제한합니다. 이러한 점에 주목하여 우리는 다음과 같은 질문을 던집니다: 코딩 에이전트는 공유 작업 공간에서 코드 변경 사항을 어떻게 이해하고 반응할까요? 본 연구에서는 SWE-Touch라는 프레임워크를 소개합니다. 이 프레임워크는 검증된 Counter-Edit(작업 관련 코드에 대한 합리적인 수정이지만, 작업 완료를 방해하는 수정)을 사용하여 이러한 환경의 한계를 시험합니다. SWE-Touch는 여러 개의 복구 경로에서 중요한 부분을 추출하고, 별도의 사용자 패치 생성기를 사용하여 수정을 구성하며, 에이전트가 관련된 코드를 도달했을 때 상황에 맞는 사용자 메시지와 함께 해당 수정을 주입합니다. 우리는 SWE-bench Verified 데이터셋을 사용한 9개의 코딩 모델에 대한 평가를 수행했으며, 추가적으로 SWE-Bench Pro 및 DeepSWE에서 제공하는 더 긴 시간 범위를 가진 작업에 대한 실험도 진행했습니다. Counter-Edit는 SWE-bench Verified에서 평균 해결률을 7.7%p 감소시켰으며, 이러한 성능 저하 현상은 더 긴 시간 범위를 가진 벤치마크에서도 지속되었습니다. 경향 분석 결과, 이러한 실패 원인은 변화하는 작업 공간에 대한 제한적인 인식 때문인 것으로 나타났습니다. 에이전트는 충돌하는 코드를 그대로 유지하거나, 리포지토리를 충분히 재검토하고 수정된 코드를 대상 테스트를 통해 검증하지 않고 단순히 코드를 대체하는 경우가 있었습니다. 이러한 결과는 강력한 자율 성능이 반드시 공유 작업 공간 협업에 필요한 상태 인식 및 적응적 행동을 보장하는 것은 아니며, 향후 최적화를 위해서는 작업 공간 변경 사항 감지, 충돌하는 수정사항 해결, 그리고 영향을 받는 동작 검증이 중요한 기능이라는 것을 시사합니다.

Real-world software development requires coding agents to operate in shared workspaces where users may inspect and modify code during an ongoing task, yet existing repository-level benchmarks typically evaluate agents working alone or restrict user participation to messages. This leads us to ask: how do coding agents understand and respond to code changes in a shared workspace? We introduce SWE-Touch, a framework that stress-tests this setting through validated Counter-Edits: plausible edits to task-relevant code that conflict with task completion. SWE-Touch mines task-critical regions from multiple repair trajectories, uses a separate User Patch Generator to construct the edits, and injects them with contextual user messages when agents reach the relevant code. We evaluate nine coding models on SWE-bench Verified, with additional experiments on longer-horizon tasks from SWE-Bench Pro and DeepSWE. Counter-Edit lowers average resolve rate by 7.7 percentage points on SWE-bench Verified, with degradation also persisting on both longer-horizon benchmarks. Trajectory analysis links these failures to limited awareness of the evolving workspace: agents may retain conflicting code or replace it without sufficiently re-inspecting the repository and validating the revised code with targeted tests. These findings show that strong autonomous performance does not yet ensure the state awareness and adaptive behavior needed for shared-workspace collaboration, and point to detecting workspace changes, reconciling conflicting edits with the task, and verifying the affected behavior as key capabilities for future optimization.