ADK 아레나: LLM 기반 개발자를 활용한 에이전트 개발 키트 평가

ADK Arena: Evaluating Agent Development Kits via LLM-as-a-Developer

에이전트 개발 키트(ADK)는 LLM 기반 자율 에이전트를 구축하기 위한 SDK 수준의 프레임워크로서 빠르게 확산되고 있지만, 어떤 프레임워크 선택이 에이전트 성능에 미치는 영향에 대한 실증적인 이해는 아직 부족합니다. 본 연구에서는 extbf{LLM-as-a-Developer (LLM 기반 개발자)}라는 방법론을 제안합니다. 이 방법론은 인간 개발자를 LLM 코딩 에이전트로 대체하며, 이 에이전트는 각 프레임워크의 API를 문서에서 학습하고, 에이전트 코드를 작성한 후, 검증-피드백 루프를 통해 반복적으로 수정하여 테스트가 통과될 때까지 진행합니다. 개발자를 일정하게 유지하고 프레임워크만 변경함으로써, 생성 노력은 API 사용 편의성의 정량적인 지표가 되며, 결과적으로 생성된 에이전트는 프레임워크의 효과성을 측정하는 데 활용됩니다. 우리는 이를 extbf{ADK 아레나}라는 완전 자동화 파이프라인에 구현했습니다. ADK 아레나는 각 프레임워크별 Docker 격리 환경, 세 단계 검증 파이프라인 및 SWE-bench, $τ^2$-bench, Terminal-Bench, MCP-Atlas 벤치마크 어댑터를 포함합니다. 인기 있는 51개의 Python ADK 프레임워크(총 204개의 에이전트-벤치마크 쌍)를 평가한 결과, 다음과 같은 결과를 얻었습니다: (1) 생성 작업은 57%에서 성공했으며, 비용은 프레임워크에 따라 5.6배 차이가 납니다(에이전트당 $0.6 ~ $3.4). 이는 API 복잡성의 정량적인 지표이지만, 비용만으로는 성공 여부를 예측하기 어렵습니다; (2) 어떤 단일 프레임워크도 압도적으로 우수하지 않았습니다. 최적의 단일 벤치마크 ADK 에이전트는 최대 80%의 작업을 해결할 수 있으며, 심지어 일반적인 성능의 최첨단 코딩 에이전트보다 더 낮은 비용으로 더 나은 성능을 보이기도 하지만, 중앙값 프레임워크는 32%만 해결합니다; (3) 다양한 정보 소스를 제거했을 때, 실제 프레임워크 사용 비율은 28~40% 사이의 좁은 범위에 머무릅니다(원본 코드 접근 시 가장 높고, 어떠한 참조 자료도 없을 때는 33%). 이는 문서, 소스 코드 및 매개변수 지식이 서로 대체 가능하며, 특정 요소가 결정적인 장애물이 되지 않는다는 것을 나타냅니다.

The rapid proliferation of Agent Development Kits (ADKs), SDK-level frameworks for building LLM-powered autonomous agents, has outpaced any empirical understanding of how framework choice affects agent performance. We propose \textbf{LLM-as-a-Developer}, a methodology that replaces human developers with an LLM coding agent that learns each framework's API from documentation, writes agent code, and iteratively repairs it through a validate-and-feedback loop until tests pass. By holding the developer constant and varying only the framework, generation effort becomes a quantitative proxy for API usability and the resulting agents provide a controlled measure of framework effectiveness. We implement this in \textbf{ADK Arena}, a fully automated pipeline with per-framework Docker isolation, a three-level validation pipeline, and benchmark adapters for SWE-bench, $τ^2$-bench, Terminal-Bench, and MCP-Atlas. Evaluating all 51 popular Python ADK frameworks (204 agent--benchmark pairs), we find that: (1)~generation succeeds for 57\% of runs, and its cost varies 5.6$\times$ across frameworks (\$0.6 to \$3.4 per agent), a quantitative proxy for API complexity, though cost alone does not predict success; (2)~no single framework dominates: the best single-benchmark ADK agents resolve up to 80\% of tasks and can even \emph{beat} general-purpose frontier coding agents at a fraction of the cost, yet the median framework resolves only 32\%; (3)~across information-source ablations, genuine framework usage stays within a narrow 28--40\% band (highest with raw source access and still 33\% with no reference material at all), indicating that documentation, source code, and parametric knowledge are largely substitutable rather than any one being a hard bottleneck.