코드 리뷰에서 코드 비평으로: 대규모 AI 생성 변경 사항에 대한 의도 예측, 편차 감지 및 핵심 영역 강조

From Code Review to Code Critique: Intent, Drift, and Spotlight for AI-Generated Diffs at Scale

AI 코딩 에이전트는 기존의 동료 검토 능력을 뛰어넘는 방대한 양의 코드를 생성하고 있습니다. 동시에, 현재의 AI 코드 검토 도구들은 스타일 및 모범 사례와 같은 낮은 가치의 제안에 과도하게 집중하는 반면, 인간 검토자들이 가장 중요하게 생각하는 정확성, 보안 및 성능과 관련된 부분은 상대적으로 간과되는 경향이 있습니다. 본 논문에서는 ARCTIC이라는 AI 기반 코드 비평 시스템을 소개합니다. 이 시스템은 코드 검토를 세 가지 핵심 기능으로 재정의합니다. 첫째, 대화 기록 및 메타데이터로부터 변경 이유를 추론하는 '의도 예측' 기능입니다. 둘째, 역번역을 통해 개발자의 의도와 에이전트의 출력 간의 차이를 측정하는 '편차 감지' 기능입니다. 셋째, 인간 검토자가 가장 주의해야 할 코드 영역을 순위로 매기는 '핵심 영역 강조' 기능입니다. 이러한 기능들은 18,000건의 코드 리뷰에서 도출된 여섯 가지 주요 주제를 기반으로 합니다. 오프라인 평가 결과, 의도 예측은 F1 점수가 0.86에 달하며, 편차 감지는 인간 어노테이터와의 거의 완벽한 순위 일치도를 보입니다 (QWK = 0.907). 또한, 핵심 영역 강조 기능은 기존 AI 검토 시스템보다 품질 추정 측면에서 2.4배 더 뛰어나며, 토큰 수 기준으로 5배 적은 양으로 동일한 성능을 제공합니다. 실험적 배포 결과, 편차 점수는 코드 불일치를 추가로 5.76 포인트 감소시켰습니다 (p = 0.026), 의도 예측 기능에 대한 승인율은 90.2%였으며, 출시 이후 자체 검토된 변경 사항에서 발생한 결함은 단 한 건도 보고되지 않았습니다.

AI coding agents are generating code at volumes that exceed the capacity of traditional peer review. At the same time, existing AI code review tools over-index on low-value suggestions such as style and best practices while under-indexing on the concerns human reviewers prioritize most: correctness, security, and performance. We present ARCTIC, an AI-powered Code Critique system that reframes code review around three capabilities: intent prediction, which infers why a change was made from conversation logs and metadata; drift detection, which measures divergence between the developer's intent and the agent's output via backtranslation; and code spotlight, which ranks the regions of a diff most warranting human scrutiny. We ground these capabilities in a six-theme taxonomy derived from 18,000 code reviews. Offline evaluation shows that intent prediction achieves 0.86 F1, drift detection reaches near-perfect ordinal agreement with human annotators (QWK = 0.907), and spotlight outperforms the baseline AI reviewer by 2.4x on quality estimation at 5x fewer tokens. In the experimental rollout, the drift scores reduces code misalignment by an additional 5.76 points (p = 0.026), intent prediction receives 90.2% approval, and zero defects have been attributed to self-reviewed diffs since launch.