VeriGraph: 검증 가능한 데이터 분석 에이전트를 향하여

VeriGraph: Towards Verifiable Data-Analytic Agents

LLM 기반 에이전트는 데이터 중심의 분석 작업에서 강력한 성능을 보여주지만, 그 결과물은 거의 검증 가능하지 않습니다. 이는 선형 텍스트 경로에 의존하기 때문에 추론 과정을 감사하기 어렵기 때문입니다. 특히, 원시 데이터를 기반으로 한 결정적 계산과 자연어 주장에 대한 의미적 추론이 종종 구조화되지 않은 흐름 속에 얽혀 있어, 수치적 결론을 재현하기 어렵고 질적인 판단을 검토하기 어렵습니다. 이러한 문제를 해결하기 위해, 저희는 실행 중에 에이전트가 명시적인 이질성 증거 지향 비순환 그래프(DAG)를 구성할 수 있도록 하는 추적 가능한 신경-기호 추론 프레임워크인 VeriGraph를 제안합니다. VeriGraph는 원시 데이터, 인터프리터 변수, 계산된 결과 및 자연어 주장을 연결하는 통일된 그래프를 만들기 위해 계산 확장, 근거 확장 및 유도 확장이라는 세 가지 증거 확장 방법을 도입합니다. 이러한 구조 하에서, 구조적 추적 가능성은 원시 데이터 소스에서 최종 주장으로의 그래프 도달 가능성으로 축소되며, 의미론적 지원은 주차 단위의 증거 평가를 통해 측정됩니다. 그래프 구축을 개선하기 위해, 저희는 답변 정확도, 계산 무결성 및 유도 일관성을 동시에 감독하는 복합 보상을 사용하는 그래프 기반 정책 최적화 전략을 추가로 설계했습니다. 네 가지 벤치마크에 대한 실험 결과, VeriGraph-8B가 모든 기준 모델 중에서 가장 높은 전체 점수를 달성했습니다. 더욱 중요한 것은, VeriGraph는 상당히 강력한 주장 근거를 갖춘 감사 가능한 증거 그래프를 생성하며, 주차 단위의 증거 지원 평가에서 87.61%의 근거율을 달성합니다. 이러한 결과는 명시적인 증거 그래프 구축이 검증 가능한 데이터 분석 에이전트를 향한 유망한 경로임을 시사합니다. 저희 코드는 https://github.com/ignorejjj/VeriGraph 에서 확인할 수 있습니다.

LLM-based agents have demonstrated strong capabilities in data-intensive analytical tasks, yet their outputs are rarely verifiable: a reliance on linear text trajectories makes their reasoning difficult to audit. In particular, deterministic computations over raw data and semantic deductions over natural-language claims are often entangled in an unstructured stream, leaving numerical conclusions hard to reproduce and qualitative judgments hard to inspect. To address this, we propose VeriGraph, a traceable neuro-symbolic reasoning framework that enables agents to construct an explicit heterogeneous evidence directed acyclic graph (DAG) during execution. VeriGraph introduces three evidence-expansion primitives, namely computational, grounding, and derivational expansion, to connect raw data, interpreter variables, computed results, and natural-language claims in a unified graph. Under this formulation, structural traceability is reduced to graph reachability from raw data sources to terminal claims, while semantic support is measured by claim-level evidence evaluation. To improve graph construction, we further design a graph-based policy optimization strategy with a composite reward that jointly supervises answer correctness, computational integrity, and derivational coherence. Experiments on four benchmarks show that VeriGraph-8B achieves the highest overall score among all baselines. More importantly, VeriGraph produces auditable evidence graphs with substantially stronger claim grounding, achieving a 87.61\% Grounding Rate under our claim-level evidence support evaluation. These results suggest that explicit evidence-graph construction is a promising path toward verifiable data-analytic agents. Our code is available at https://github.com/ignorejjj/VeriGraph.