SoK: DARPA의 인공지능 사이버 챌린지 (AIxCC): 대회 설계, 아키텍처 및 교훈

SoK: DARPA's AI Cyber Challenge (AIxCC): Competition Design, Architectures, and Lessons Learned

DARPA의 인공지능 사이버 챌린지 (AIxCC, 2023-2025)는 최첨단 인공지능 기술, 특히 대규모 언어 모델(LLM)을 활용하여 실제 오픈 소스 소프트웨어의 취약점을 발견하고 해결하는 완전 자율 사이버 추론 시스템(CRS)을 구축하는 데 있어 지금까지 가장 큰 규모의 대회입니다. 본 논문은 AIxCC에 대한 최초의 체계적인 분석을 제공합니다. 설계 문서, 소스 코드, 실행 추적 및 주최자 및 참가 팀과의 논의를 바탕으로, 우리는 대회의 구조와 주요 설계 결정을 검토하고, 최종 후보 CRS의 아키텍처적 접근 방식을 분석하며, 최종 순위표를 넘어선 대회 결과를 분석합니다. 우리의 분석은 CRS 성능을 실제로 이끌어낸 요인을 밝히고, 팀들이 달성한 진정한 기술적 발전 사항을 식별하며, 향후 연구를 위한 제한 사항을 드러냅니다. 우리는 향후 대회를 조직하고 자율 CRS를 실제 환경에 배포하는 데 필요한 교훈과 더 넓은 통찰력을 제시합니다.

DARPA's AI Cyber Challenge (AIxCC, 2023--2025) is the largest competition to date for building fully autonomous cyber reasoning systems (CRSs) that leverage recent advances in AI -- particularly large language models (LLMs) -- to discover and remediate vulnerabilities in real-world open-source software. This paper presents the first systematic analysis of AIxCC. Drawing on design documents, source code, execution traces, and discussions with organizers and competing teams, we examine the competition's structure and key design decisions, characterize the architectural approaches of finalist CRSs, and analyze competition results beyond the final scoreboard. Our analysis reveals the factors that truly drove CRS performance, identifies genuine technical advances achieved by teams, and exposes limitations that remain open for future research. We conclude with lessons for organizing future competitions and broader insights toward deploying autonomous CRSs in practice.