TraceLab: LLM 서비스 환경에서의 코딩 에이전트 워크로드 특성 분석

TraceLab: Characterizing Coding Agent Workloads for LLM Serving

코딩 에이전트는 자율형 LLM의 주요 응용 분야로 빠르게 성장하고 있지만, 효율적인 서비스를 제공하는 것은 여전히 어려운 과제입니다. 이러한 문제를 해결하기 위해서는 실제 워크로드 패턴을 이해해야 하지만, 그러한 분석에 필요한 데이터는 대부분 부족합니다. 기존의 공개 데이터 및 벤치마크는 여러 에이전트와 모델 패밀리를 대상으로 하는 실제 코딩 에이전트 사용 사례를 포괄하지 못하여 서비스 시스템 분석에 활용하기 어렵습니다. 이러한 격차를 해소하기 위해, 저희는 Claude Code 및 Codex를 사용하여 수행한 일상적인 작업으로부터 약 4,300개의 코딩 에이전트 세션 데이터를 수집하고 공개합니다. 이 데이터에는 약 35만 건의 LLM 단계와 43만 건의 도구 호출 정보가 포함되어 있습니다. 분석 결과, 코딩 에이전트 워크로드는 긴 자율 루프, 짧은 출력과 긴 컨텍스트, 다양한 도구 호출 (특히 특정 도구가 집중적으로 사용되는 경향), 그리고 높은 수준이지만 완벽하지 않은 프리픽스 캐시 적중률을 특징으로 합니다. 이러한 결과는 서비스 최적화를 위한 구체적인 기회를 제시합니다. 여기에는 낮은 오버헤드의 도구 호출, 출력 길이 인지 프리필 방식, 의미론 기반의 도구 지연 시간 예측, 그리고 사용자의 속도에 맞춰 조정되는 KV-캐시 관리 개선 등이 포함됩니다. 데이터셋, 추적 수집 파이프라인 및 분석 코드는 https://github.com/uw-syfi/TraceLab.git 에서 확인할 수 있으며, 프로젝트 웹사이트는 https://tracelab.cs.washington.edu 입니다.

Coding agents are rapidly becoming a major application of agentic LLMs, but serving them efficiently remains challenging. Progress on this challenge requires understanding real workload patterns, yet the data needed for such analysis is largely absent. Existing public traces and benchmarks do not capture real, day-to-day coding-agent usage across multiple agents and model families for serving-system analysis. To help fill this gap, we collect and release a trace of roughly 4,300 coding-agent sessions, containing about 350,000 LLM steps and 430,000 tool calls from our own day-to-day use of Claude Code and Codex. Our analysis shows that coding-agent workloads feature long autonomous loops, long contexts with short outputs, diverse and heavily-tailed tool calls, and high but imperfect prefix cache hit rates. These findings point to concrete opportunities for optimizing serving, including lower-overhead tool calling, append-length-aware prefill, semantic-aware tool-latency prediction, and improved KV-cache management around human-paced gaps. We release the dataset, trace collection pipeline, and analysis code at https://github.com/uw-syfi/TraceLab.git; the project website is https://tracelab.cs.washington.edu.