오픈 소스에서 인공지능 코딩 에이전트 탐지: 1억 8천만 개의 저장소에 대한 검증된 다중 방법론 기반 실태 조사

Detecting AI Coding Agents in Open Source: A Validated Multi-Method Census of 180 Million Repositories

생성형 AI 코딩 에이전트는 오픈 소스 생태계로 진입하고 있지만, 그들의 다양한 형태와 종종 숨겨진 흔적 때문에 실제 사용 비율을 파악하기 어렵습니다. 본 연구에서는 구성 파일 스캔, 커밋 메시지 분석, 작성자 정보 매칭 및 봇 시그니처 검색을 통합한 다층 탐지 프레임워크를 World of Code (1억 8천만 개 이상의 Git 저장소)에 적용하여 에이전트의 흔적을 네 가지 행동 유형으로 분류합니다. 단일 방법으로는 전체 활동의 일부만을 파악할 수 있습니다. 다중 방법론을 사용한 탐지를 통해 한 번의 스냅샷에서 850,157건의 Claude Code 커밋을 식별했으며, 그 중 봇 계정 검색 (대부분의 채택 연구에서 사용하는 지표)으로는 28,154건 (3.3%)만이 검출되었습니다. 이는 약 30배의 상대적인 재현율 격차를 보여주므로, 단일 지표만을 사용한 채택률 추정은 최소 이 정도 수준으로 과소평가될 수 있습니다. 모든 탐지 패턴은 수동 검증 (495개 레이블)을 거쳤으며, 각 셀별 정확도와 Wilson 신뢰 구간을 산출했습니다. 2024년 12월부터 2026년 4월까지의 스냅샷 분석 결과, 커밋에 기여한 에이전트는 매월 약 32만 건 이상의 커밋을 생성했으며, Claude Code가 가장 높은 비중 (17,295개 프로젝트에서 총 886,122건의 커밋)을 차지하며 구성 파일만을 사용하는 채택 형태로 광범위하게 사용되고 있습니다. 독립적인 풀 리퀘스트 실태 조사 (AIDev)와 비교했을 때, 두 채널은 거의 분리된 에이전트 그룹을 보여줍니다. 풀 리퀘스트 기반 조사는 커밋으로 탐지된 Claude Code 사용자 중 79%를 놓치고 Codex 사용자를 거의 모두 놓쳤습니다. 또한, PR에 배포되는 클라우드 기반 에이전트 (Codex, Cursor)는 기능 개발과 관련된 작업으로 나타나는 반면, 커밋을 통해 IDE 내에 배포되는 에이전트 (Claude Code, OpenHands, Aider)는 유지 보수와 관련된 작업으로 나타났습니다. 관찰된 작업 프로필은 사용된 도구 자체보다는 배포 및 탐지 방식에 따라 달라지므로, 어느 하나의 채널만으로는 전체적인 현상을 대표할 수 없습니다.

Generative AI coding agents are entering the open-source supply chain, yet their diverse and often invisible traces leave their prevalence poorly understood. We introduce a multi-layered detection framework that integrates configuration-file scanning, commit-message analysis, author-identity matching, and bot-signature lookup across World of Code (180M+ Git repositories), classifying agent traces into four behavioral types. No single method captures more than a fraction of activity: multi-method detection identifies 850,157 Claude Code commits in one snapshot, of which bot-account lookup_the signal most adoption studies rely on_recovers only 28,154 (3.3%), a 30x relative-recall gap, so single-signal prevalence estimates are biased low by at least this factor. Every detection pattern is hand-validated (495 labels) with per-cell precision and Wilson confidence intervals. Across snapshots from December 2024 to April 2026, commit-attributed agents generate over 320,000 commits per month; Claude Code leads (886,122 commits across 17,295 projects) and dominates silent, configuration-file-only adoption (21,078 projects). Compared against an independent pull-request census (AIDev), the two channels capture nearly disjoint agent populations_a PR census misses 79% of commit-detected Claude Code adopters and essentially all Codex adopters_and different kinds of work: PR-deployed cloud agents (Codex, Cursor) surface as feature work, while commit-deployed in-editor agents (Claude Code, OpenHands, Aider) surface as maintenance. The observed work profile follows deployment and detection mode rather than the tool itself, so no single channel is representative.