CDFM: 범용적인 인과 관계 추론 기반 모델을 향하여

CDFM: Towards a General-Purpose Causal Discovery Foundation Model

인과 관계 발견은 관찰 데이터로부터 잠재적인 인과 구조를 복원하는 핵심적인 연구 분야이며, 다양한 학문 분야에서 중요하게 다루어지고 있습니다. 지난 수십 년 동안, 다양한 알고리즘들이 개발되어 왔으며, 이들은 각 데이터 세트의 특정 인과 메커니즘에 맞춰 설계되어 광범위한 응용 분야에서 효과를 보여주었습니다. 그러나 실제 세계 데이터의 양과 다양성이 계속 증가함에 따라, 이러한 데이터 세트별 접근 방식은 필연적으로 파편화되고, 테스트 중심적인 패러다임을 초래하며, 현대 과학적 발견의 요구 사항을 충족하기 어렵습니다. 이를 해결하기 위해, 우리는 Causal Discovery Foundation Model (CDFM)을 제로샷 구조 추론을 위한 통합적이고 범용적인 프레임워크로 정의했습니다. 신뢰할 수 있는 일반화 능력을 확보하기 위해, 우리는 먼저 인과 식별 가능성의 이론적 경계를 조사하고, 이 과정에서 인과 사전 메커니즘의 필수적인 역할을 밝혀냅니다. 이러한 통찰력을 바탕으로, 우리는 알려지지 않은 인과 메커니즘을 잠재 변수로 처리하고, 풀기 어려운 주변 확률 밀도를 명확하게 분해할 수 있는 원칙적인 변분 프레임워크를 제안합니다. 이 변분 분해는 CDFM의 아키텍처 설계에 대한 개념적 설계 원리를 제공하며, 포괄적인 인과 지식은 대규모 사전 훈련 데이터 생성에 활용됩니다. 방대한 양의 다양한 합성 구조 인과 모델을 사용하여 사전 훈련된 CDFM은 복잡한 통계적 비대칭성을 성공적으로 학습합니다. 광범위한 실험 결과는 CDFM이 기존 알고리즘보다 일관되게 우수한 성능을 보이며, 범용적인 인과 관계 발견 기반 모델로의 패러다임 전환을 이끌고 있음을 보여줍니다.

Causal discovery, the process of recovering underlying causal structures from observational data, is a fundamental pursuit across scientific disciplines. Over the past decades, numerous algorithms have been developed to tackle this challenge through workflows tailored to the specific causal mechanisms underlying each type of dataset, demonstrating effectiveness across a wide range of applications. However, as the volume and heterogeneity of real-world data continue to grow, this dataset-specific approach inevitably leads to a fragmented, test-driven paradigm that struggles to scale to the demands of modern scientific discovery. To address this, we formulate the Causal Discovery Foundation Model (CDFM) as a unified, general-purpose framework for zero-shot structural inference. To ensure reliable generalization across unknown domains, we first investigate the theoretical boundaries of causal identifiability, revealing the indispensable role of causal prior mechanisms in this process. Building on these insights, we formulate a principled variational framework that treats unknown causal mechanisms as latent variables and mathematically decomposes the intractable marginal likelihood into distinct, tractable learning modules. The variational decomposition provides a conceptual design principle for the architecture design of CDFM, while comprehensive causal knowledge guides the large-scale synthesis of our pretraining data. By pretraining on a massive, highly diverse space of synthetic structural causal models, CDFM successfully internalizes complex statistical asymmetries. Extensive experiments demonstrate that CDFM consistently outperforms traditional algorithms, driving a paradigm shift toward a general-purpose causal discovery foundation model.