그래프가 검증자: 절차 간 취약점 탐지를 위한 에이전트 기반 강화 학습

Graph Is the Verifier: Agentic Reinforcement Learning for Interprocedural Vulnerability Detection

실제 환경의 취약점은 종종 여러 함수에 걸쳐 나타나지만, 대부분의 머신러닝 기반 탐지기는 각 함수를 개별적으로 분석합니다. 실제 CVE 샘플을 분석한 결과, 71.7%의 취약 함수는 정확하게 분류되기 위해 해당 함수 외부에서 얻은 증거가 필요했습니다. 에이전트 기반 강화 학습(RL)은 모델 스스로 필요한 증거를 수집하여 이러한 격차를 줄일 수 있지만, 최종 판단에만 의존하는 보상 방식은 실제 조사가 수행되지 않고도 얻을 수 있기 때문에 신뢰할 만한 보상을 제공하기 어렵습니다. 본 논문에서는 코드 속성 그래프(CPG)를 기반으로 하는 절차 간 취약점 탐지를 위한 에이전트 기반 RL 프레임워크인 VulAgentRL을 제안합니다. CPG는 추론 시 정책의 호출자, 피호출자, 데이터 흐름 등의 정보를 제공하고, 학습 시에는 정책이 제시하는 증거를 검증하는 역할을 수행합니다. 각 CPG 노드는 고유한 정수 식별자를 가지므로, 이 검증은 텍스트 매칭이 아닌 정확한 비교를 통해 이루어지며, 따라서 증거에 의해 뒷받침되는 판단에 보상을 부여합니다. 또한, 우리는 기존 조사의 결과를 활용하여 정책을 초기화하고, RL 모델이 경험하지 못한 도구 사용 행동을 학습하기 어렵기 때문에 이러한 초기화가 필수적임을 보여줍니다. 저장소 수준에서 데이터 유출을 방지하는 방식으로 평가한 결과, VulAgentRL은 최첨단 모델들을 능가하며, 더 적은 수의 도구를 호출하고, 이 장점은 다른 데이터셋과 불균형 데이터 환경에서도 유지됩니다.

Real-world vulnerabilities often span multiple functions, yet most learning-based detectors classify each function in isolation: on a sample of real CVEs, we find that 71.7% of vulnerable functions require evidence from outside the function to be classified correctly. Agentic reinforcement learning (RL) could close this gap by enabling a model to gather that evidence itself, but it lacks a reliable reward, since a reward defined on the final verdict alone can be obtained without performing any investigation. We propose VulAgentRL, an agentic RL framework for interprocedural vulnerability detection built on a Code Property Graph (CPG). The CPG serves two roles: at inference time the policy queries it for callers, callees, dataflow, and other queries, and at training time the same graph verifies the evidence the policy cites. Because every CPG node carries a persistent integer identifier, this verification is an exact comparison rather than a textual match, so the reward credits verdicts that are supported by evidence. We further initialize the policy by distilling teacher investigations, and show that this warm start is necessary, since RL cannot acquire tool-use behavior it never samples. Under a repository-level split that prevents leakage, VulAgentRL outperforms state-of-the-art baselines, including frontier models, on the strict pair-wise-correct metric while issuing fewer tool calls, and its advantage persists on an out-of-distribution corpus and under class imbalance.