기호적 검증을 통한 LLM 인과 추론의 숨겨진 정확성 규명

Uncovering Hidden Correctness in LLM Causal Reasoning via Symbolic Verification

거대 언어 모델(LLM)은 인과 추론을 포함하는 작업에 점점 더 많이 적용되고 있습니다. 그러나 현재의 벤치마크들은 종종 문자열 일치나 표면적인 지표에 의존하고 있어, 모델의 출력이 인과 추론의 의미론적 관점에서 형식적으로 타당한지 여부를 포착하지 못합니다. 이를 해결하기 위해 본 연구에서는 do-calculus와 확률 이론의 규칙을 사용하여 LLM이 생성한 인과 표현이 주어진 인과 그래프로부터 도출 가능한지 확인하는 간단한 기호적 검증기인 DoVerifier를 제안합니다. 이를 통해 인과적 의미의 표면적인 차이로 인해 오답으로 처리되었을 인과 질의에 대한 정답을 찾아낼 수 있습니다. 합성 데이터 및 인과 QA 벤치마크에 대한 평가 결과, DoVerifier는 인과 추론 과정의 의미적 정확성을 더 정확하게 포착하며, LLM의 인과 추론 능력을 평가하는 데 있어 더 엄격하고 유익한 방법을 제공함을 보여줍니다.

Large language models (LLMs) are increasingly being applied to tasks that involve causal reasoning. However, current benchmarks often rely on string matching or surface-level metrics that do not capture whether the output of a model is formally valid under the semantics of causal reasoning. To address this, we propose DoVerifier, a simple symbolic verifier that checks whether LLM-generated causal expressions are derivable from a given causal graph using rules from do-calculus and probability theory. This allows us to recover correct answers to causal queries that would otherwise be marked incorrect due to superficial differences in their causal semantics. Our evaluations on synthetic data and causal QA benchmarks show that DoVerifier more accurately captures semantic correctness of causal reasoning traces, offering a more rigorous and informative way to evaluate LLMs on causal reasoning.