(페어) 프로그래밍: 코딩 에이전트는 생산성을 향상시키지만 이해도를 저해할 수 있다

(Im)Paired Programming: Coding Agents Improve Productivity but Harm Understanding

코딩 에이전트(예: Cursor)는 작업 완료를 최적화하여 개발자의 생산성을 향상시키는 반면, 사용자를 코드 작성에서 프롬프트 입력 및 검토로 전환하면 이해력을 저하시키고, 감독, 학습 및 소통을 방해할 수 있습니다. 이를 조사하기 위해, 54명의 학생에게 두 가지 AI 시스템 중 하나를 사용하여 웹사이트를 만들도록 했습니다. 한 그룹은 사용자의 코드를 수정하는 에이전트를 사용했고, 다른 그룹은 사용자가 혼자 코드를 작성하거나 일반적인 코드 조각을 활용하는 챗봇을 사용했습니다. 이해도를 측정하기 위해 이해력 관련 질문과 에이전트 없이 사용자가 자신의 코드를 확장하는 과제를 수행하도록 했습니다. 그 결과는 다음과 같습니다: (1) 에이전트는 초기 작업 완료에 도움이 되지만, 사용자의 코드 이해력을 저해하여 사용자가 자신의 코드를 확장하는 데 필요한 준비를 갖추지 못하게 합니다; (2) 복사+붙여넣기 프롬프트 및 자동 수락 편집과 같은 노력이 적게 드는 에이전트 상호 작용 유형은 낮은 이해력과 관련되어 있습니다; (3) 설문 조사 결과, 사용자는 이해도가 낮다고 보고했지만 여전히 코딩 에이전트를 선호했습니다. 이는 에이전트가 빠르고 사용하기 쉽기 때문입니다. 코딩 워크플로우에서 사용자는 계속 참여하지만, 이해도는 간과되어서는 안 됩니다. 이러한 분석 결과를 바탕으로, 코딩 에이전트 개발자를 위한 향후 연구 방향을 제시합니다: 낮은 노력의 프롬프트를 방지하고, 가독성이 좋은 코드를 생성하며, 적극적인 참여를 촉진해야 합니다.

Coding agents (e.g., Cursor) improve developer productivity by optimizing task completion, but shifting users from writing code to prompting and reviewing may harm their understanding, impeding oversight, learning, and communication. To probe this, we have 54 students create a website with one of two AI systems: an agent that edits user code; or a chatbot where users write code alone or adapt generic code snippets. We test understanding via comprehension questions and a task where users extend their code without agents, showing: (1) While agents aid initial task completion, they harm users' code comprehension and thus do not prepare users to extend their code; (2) Low-effort agent interaction types, like copy+paste prompts and auto-accepted edits, are linked with lower comprehension; and (3) Despite self-reported weaker understanding, users still prefer coding agents because they are quick and easy to use. While users stay in the loop for coding workflows, understanding should not be forgotten. Towards this goal, we distill our analyses into future research directions for coding agent developers: dissuading low-effort prompting, creating readable code, and promoting active engagement.