메타(Meta)의 저위험 코드 검토 자동화: RADAR, 위험도 조정 및 검토 효율성

Automating Low-Risk Code Review at Meta: RADAR, Risk Calibration, and Review Efficiency

AI 기반 코딩 도구는 소프트웨어 개발 프로세스를 변화시키고 있습니다. 메타에서는 사람이 직접 작성한 코드 변경 건수가 전년 대비 105.9% 증가했으며, 개발자당 코드 변경량 또한 51% 증가했습니다. 이 증가분의 80% 이상이 AI 에이전트의 기여에 의한 것입니다. 동시에, 적시에 검토를 받는 코드 변경 비율은 감소하여 코드 생성 속도와 검토 자원 간의 격차가 커지고 있습니다. 본 연구는 다음과 같은 세 가지 질문을 통해 자동화 가능성, 위험도 조정 및 효과를 분석합니다: (1) 다양한 조직에서 확장 가능한 위험도 기반 자동화를 구현할 수 있는가? (2) 위험도 임계값을 조정하는 것이 자동화 효율성과 안전성 간의 균형에 어떤 영향을 미치는가? (3) 자동화된 검토가 AI 생성 코드 변경에 대한 전체 처리 시간을 얼마나 단축하는가? 우리는 RADAR(Risk Aware Diff Auto Review)이라는 다단계 시스템을 개발했습니다. RADAR은 각 코드 변경 건수를 작성자 및 소스 유형별로 분류하고, 자격 요건 검증, 정적 규칙 적용, 머신러닝 기반 위험도 점수 산출, LLM 기반 자동 코드 검토 및 결정적인 유효성 검사를 수행하여 적합한 변경 사항을 적용합니다. 우리는 53만 건 이상의 RADAR으로 검토된 코드 변경 데이터를 활용하고, 정책 변경 전후의 비교 분석, 효율성 결과에 대한 차등분석 등을 통해 RADAR의 효과를 평가했습니다. RADAR은 53만 건 이상의 코드 변경을 검토하고 그중 33만 건 이상을 적용했습니다. Diff Risk Score 임계값을 25번째 백분위수에서 50번째 백분위수로 완화하면 승인율이 60.31%로 증가했습니다. RADAR으로 검토된 코드 변경에 대한 취소율은 일반 코드 변경의 1/3 수준이며, 운영 중단 발생률은 일반 코드 변경의 1/50 수준입니다. RADAR은 평균 처리 시간 단축 효과가 330% 이상이고, 평균 코드 검토 시간을 35% 단축합니다. 위험도를 고려한 계층화된 자동화를 통해 AI 기반 코드 증가로 인해 발생하는 검토 병목 현상을 안전성을 저해하지 않고 크게 완화할 수 있습니다.

AI-assisted coding tools have altered software production. At Meta, significant lines of code per human-landed diff grew by 105.9% year over year and per-developer diff volume rose 51%, with agentic AI responsible for over 80% of that growth. Meanwhile, the share of diffs receiving timely review has declined, exposing a widening gap between code supply and reviewer bandwidth. We ask three questions that progress from feasibility through calibration to impact: (1) can risk-stratified automation operate at scale across diverse organizations, (2) how does tuning the risk threshold affect the trade-off between automation yield and safety, and (3) to what extent does automated review reduce end-to-end latency for AI-generated changes? We deployed RADAR (Risk Aware Diff Auto Review), a multi-stage funnel that classifies each diff by authorship and source type, applies eligibility gates, static heuristics, a machine-learned Diff Risk Score, LLM-based Automated Code Review, and deterministic validation before landing qualifying changes. We evaluate RADAR through telemetry covering 535K+ RADAR-reviewed diffs, observational before-after comparisons for policy changes, and difference-in-differences analysis of efficiency outcomes. RADAR has reviewed 535K+ diffs and landed 331K+. Relaxing the Diff Risk Score threshold from the 25th to the 50th percentile increased the approve rate to 60.31%. The revert rate for RADAR-reviewed diffs is 1/3 that of non-RADAR diffs, and the Production Incident rate is 1/50 that of non-RADAR diffs. RADAR reduces median time to close by over 330% and median diff review wall time by 35%. Risk-aware layered automation can materially reduce review bottlenecks created by AI-driven code growth without compromising production safety.