원인 집합 에이전트: LLM 기반 전문가 재가중치를 활용한 계층적 원인 관계 발견

Causal Ensemble Agent: Hierarchical Causal Discovery with LLM-guided Expert Reweighting

원인 관계 발견은 관찰 데이터로부터 인과 구조를 파악하는 것을 목표로 하며, 실제 의사 결정에 매우 중요합니다. 그러나 다양한 원인 관계 발견 알고리즘은 서로 충돌하는 결과를 생성할 수 있으며, 이는 정확한 인과 그래프 식별을 복잡하게 만듭니다. 기존 접근 방식은 주로 숫자 값과 통계적 가정에 의존하며, 특징 설명과 같이 풍부한 도메인 특화 정보를 간과하는 경우가 많습니다. 최근 연구에서는 대규모 언어 모델(LLM)을 사용하여 직접적인 질의를 통해 인과 관계를 추론하는 방법을 탐구하고 있지만, 이러한 방법은 실제 데이터와의 불일치로 인해 신뢰성이 떨어질 수 있습니다. 이러한 한계를 극복하기 위해, 본 논문에서는 선형 의견 결합을 통해 다양한 그래프 수준의 통계적 발견 전문가로부터 구조적 통찰력을 통합하고, LLM을 메타 심판으로 사용하여 집계된 확신치가 결정 경계에 가까울 때 전문가의 가중치를 동적으로 재조정하여 개선되고 완전한 인과 그래프를 구성하는 새로운 프레임워크인 Causal Ensemble Agent (CEA)를 제안합니다. 합성 데이터 및 실제 데이터 세트에 대한 광범위한 실험 결과, CEA는 다양한 원인 관계 발견 방법 중에서 가장 우수한 전체 성능을 달성했으며, 이는 인과 관계 발견에서의 메타 분석에 LLM을 사용하는 것의 효과성을 강조합니다.

Causal discovery aims to uncover causal structures from observational data, which is crucial for real-world decision-making. However, different causal discovery algorithms can produce divergent results that conflict with each other, complicating the identification of accurate causal graphs. Traditional approaches rely on numerical values and statistical assumptions, often ignoring rich domain-specific information, such as feature descriptions, which could also help structure learning. While recent works explore using Large Language Models (LLMs) to infer causal relations via direct queries, such methods can be unreliable due to a lack of alignment with the actual data. To address these limitations, we propose Causal Ensemble Agent (CEA), a novel framework that aggregates structural insights from statistical discovery experts across different graph levels via linear opinion pooling, and uses an LLM as a meta-referee to dynamically reweight experts when the aggregated confidence is close to the decision boundary, thereby composing an improved and more complete causal graph. Extensive experiments on both synthetic and real-world datasets demonstrate that CEA achieves the strongest overall performance across a wide range of causal discovery methods, highlighting the effectiveness of using LLMs for meta-analysis in causal discovery.