CauScientist: LLM을 활용하여 인과 관계 발견 시 데이터 존중을 가르치는 방법

CauScientist: Teaching LLMs to Respect Data for Causal Discovery

인과 관계 발견은 과학적 이해와 신뢰할 수 있는 의사 결정에 필수적입니다. 기존 방법은 중요한 한계를 가지고 있습니다. 순수하게 데이터 기반 방법은 통계적 구별 불가능성과 모델링 가정에 어려움을 겪으며, 최근 LLM 기반 방법은 통계적 증거를 무시하거나 검증되지 않은 사전 지식을 포함하여 결과를 왜곡할 수 있습니다. 이에, 우리는 LLM을 가설 생성의 "데이터 과학자"로 활용하고, 확률 통계를 엄격한 "검증자"로 활용하여 시너지를 창출하는 협업 프레임워크인 CauScientist를 제안합니다. CauScientist는 하이브리드 초기화를 사용하여 우수한 시작 그래프를 선택하고, LLM에서 제안된 수정 사항을 통계적 기준에 따라 검증하여 구조를 반복적으로 개선하며, 오류 기억을 유지하여 효율적인 검색 공간을 탐색합니다. 실험 결과, CauScientist는 순수 데이터 기반 방법보다 훨씬 뛰어난 성능을 보이며, F1 점수가 최대 53.8% 향상되고, 재현율이 35.0%에서 100.0%로 향상되었습니다. 주목할 만한 점은, 독립적인 LLM의 성능은 그래프 복잡도가 증가함에 따라 저하되는 반면, CauScientist는 37노드 그래프에서 Qwen3-32B보다 구조 해밍 거리(SHD)를 44.0% 줄였습니다. 프로젝트 페이지는 https://github.com/OpenCausaLab/CauScientist 에서 확인할 수 있습니다.

Causal discovery is fundamental to scientific understanding and reliable decision-making. Existing approaches face critical limitations: purely data-driven methods suffer from statistical indistinguishability and modeling assumptions, while recent LLM-based methods either ignore statistical evidence or incorporate unverified priors that can mislead result. To this end, we propose CauScientist, a collaborative framework that synergizes LLMs as hypothesis-generating "data scientists" with probabilistic statistics as rigorous "verifiers". CauScientist employs hybrid initialization to select superior starting graphs, iteratively refines structures through LLM-proposed modifications validated by statistical criteria, and maintains error memory to guide efficient search space. Experiments demonstrate that CauScientist substantially outperforms purely data-driven baselines, achieving up to 53.8% F1 score improvement and enhancing recall from 35.0% to 100.0%. Notably, while standalone LLM performance degrades with graph complexity, CauScientist reduces structural hamming distance (SHD) by 44.0% compared to Qwen3-32B on 37-node graphs. Our project page is at https://github.com/OpenCausaLab/CauScientist.