신뢰성 있는 초구조 학습을 통한 효율적인 미분 가능한 인과 관계 발견

Efficient Differentiable Causal Discovery via Reliable Super-Structure Learning

최근, 미분 가능한 인과 관계 발견은 기존 방법의 정확성과 효율성을 향상시키는 유망한 접근 방식으로 부상했습니다. 그러나 고차원 데이터나 잠재적인 교란 변수가 존재하는 데이터에 이러한 방법들을 적용할 경우, 기존의 연속 최적화 알고리즘에 기반한 이들은 방대한 탐색 공간, 복잡한 목적 함수, 그리고 복잡한 그래프 이론적 제약 조건 때문에 어려움을 겪습니다. 그 결과, 최적화 과정을 안내하기 위한 초구조를 활용하는 것에 대한 관심이 높아지고 있습니다. 하지만 적절한 초구조를 올바른 수준의 세분성으로 학습하고, 다양한 환경에서 효율적으로 학습하는 것은 상당한 과제입니다. 본 논문에서는 미분 가능한 인과 관계 발견 파이프라인을 향상시키는 새로운 일반적인 방법인 ALVGL을 제안합니다. ALVGL은 희소하고 저차원 분해를 사용하여 데이터의 정밀 행렬을 학습합니다. 이 분해를 최적화하기 위해 ADMM 절차를 설계하여, 정밀 행렬 내에서 근본적인 인과 관계 구조와 가장 관련성이 높은 구성 요소를 식별합니다. 이러한 구성 요소는 결합되어 실제 인과 그래프의 상위 집합임을 증명할 수 있는 초구조를 구축하는 데 사용됩니다. 이 초구조는 표준 미분 가능한 인과 관계 발견 방법을 보다 집중된 탐색 공간으로 초기화하여 최적화 효율성과 정확성을 모두 향상시킵니다. 본 논문에서는 ALVGL의 다양성을 다양한 구조적 인과 모델에 적용하여 보여줍니다. 여기에는 가우시안 및 비가우시안 설정 모두와 측정되지 않는 교란 변수가 있는 경우와 없는 경우를 포함합니다. 합성 데이터 및 실제 데이터 세트에 대한 광범위한 실험 결과, ALVGL은 최첨단 정확도를 달성할 뿐만 아니라 최적화 효율성을 크게 향상시켜 미분 가능한 인과 관계 발견을 위한 신뢰할 수 있고 효과적인 솔루션임을 입증합니다.

Recently, differentiable causal discovery has emerged as a promising approach to improve the accuracy and efficiency of existing methods. However, when applied to high-dimensional data or data with latent confounders, these methods, often based on off-the-shelf continuous optimization algorithms, struggle with the vast search space, the complexity of the objective function, and the nontrivial nature of graph-theoretical constraints. As a result, there has been a surge of interest in leveraging super-structures to guide the optimization process. Nonetheless, learning an appropriate super-structure at the right level of granularity, and doing so efficiently across various settings, presents significant challenges. In this paper, we propose ALVGL, a novel and general enhancement to the differentiable causal discovery pipeline. ALVGL employs a sparse and low-rank decomposition to learn the precision matrix of the data. We design an ADMM procedure to optimize this decomposition, identifying components in the precision matrix that are most relevant to the underlying causal structure. These components are then combined to construct a super-structure that is provably a superset of the true causal graph. This super-structure is used to initialize a standard differentiable causal discovery method with a more focused search space, thereby improving both optimization efficiency and accuracy. We demonstrate the versatility of ALVGL by instantiating it across a range of structural causal models, including both Gaussian and non-Gaussian settings, with and without unmeasured confounders. Extensive experiments on synthetic and real-world datasets show that ALVGL not only achieves state-of-the-art accuracy but also significantly improves optimization efficiency, making it a reliable and effective solution for differentiable causal discovery.