현실 환경에서의 에이전트 기반 코딩: GitHub Copilot 추적 데이터 분석을 통한 프로덕션 규모 연구

Agentic Coding in the Wild: Characterizing GitHub Copilot Traces at Production Scale

GitHub Copilot, Claude Code 및 Codex와 같은 AI 코딩 에이전트는 다단계 LLM(Large Language Model) 추론과 도구 실행을 결합하여 챗봇과는 다른 워크로드를 생성합니다. 본 논문에서는 2026년 6월의 GitHub Copilot 추적 데이터를 활용하여, 320만 명의 사용자, 1300만 세션, 7억 6천만 건의 LLM 호출, 그리고 95조 개의 토큰을 포함하는 프로덕션 규모의 워크로드를 최초로 분석합니다. 분석 결과, 시스템에 중요한 영향을 미치는 독특한 워크로드 특성이 드러났습니다. 예를 들어, 에이전트 기반 코딩 세션은 사용자 주도의 간헐적인 상호작용으로 구성되며, 각 상호작용은 거의 항상 도구 실행과 함께 LLM 호출 루프를 형성합니다. 이러한 구조는 한 번의 상호작용 내에서는 평균 90%의 KV 캐시 히트율을 보이지만, 상호작용 경계를 넘어선 경우 55%로 감소하며, 모델 변경 또는 컨텍스트 압축 등의 이벤트 발생 시에는 급격하게 무효화됩니다. 다양한 워크플로우와 사용자 행동이 관찰되었으며, 토큰 소비량, 시간 범위 및 도구 호출 빈도는 가변적이고 긴 꼬리를 갖는 분포를 보입니다. 본 연구에서는 짧은 에이전트 처리 시간과 상호작용 경계에서의 수 분에 달하는 사용자 대기 시간을 비교하고, 총 대기 시간의 86~90%를 예측하는 간단한 대기 시간 예측 모델을 설계하여 효율적인 리소스 관리를 위한 사전 결정을 지원합니다. 이러한 연구 결과는 현재 LLM 서비스 시스템의 기본 전제에 도전하며, 에이전트 기반 인프라 구축을 위한 실증적 토대를 제공합니다.

AI coding agents like GitHub Copilot, Claude Code, and Codex interleave multi-step LLM inference with tool execution, creating a workload different from chatbots. We present the first production-scale characterization of this workload using sampled GitHub Copilot traces from June 2026, comprising 3.2M users, 13M sessions, 761M LLM calls, and 95T tokens. Our analysis reveals distinctive workload properties with important systems implications. For example, agentic coding sessions consist of sparse user-initiated turns, each unfolding into an autonomous agent loop of LLM calls almost always coupled with tool execution. This structure yields KV cache hit rates averaging 90% within a turn, but falling to 55\% across turn boundaries and drastically invalidated after events like model switches or context compaction. Diverse workflows and user behaviors are observed with variable and long-tailed token consumption, time span, and tool calls. We highlight the difference between quick agentic turnaround times and the minutes-long user idle periods at turn boundaries, and design a lightweight idle-time predictor that captures 86-90\% of total idle time, enabling proactive decisions for efficient resource orchestration. These findings challenge assumptions underlying current LLM-serving systems and provide an empirical foundation for agent-native infrastructure.