因果 신경 확률 회로 (Causal Neural Probabilistic Circuits)

Causal Neural Probabilistic Circuits

컨셉 병목 모델(CBM)은 개념 레이어를 도입하고 개념 예측을 기반으로 클래스 레이블을 예측함으로써, 엔드-투-엔드 신경망의 해석 가능성을 향상시킵니다. CBM의 주요 특징은 전문가가 테스트 시 오판된 개념 값을 수정하여 최종 정확도를 향상시킬 수 있는 개입(intervention)을 지원한다는 것입니다. 그러나 일반적인 CBM은 수정된 개념만 덮어쓰고 다른 개념 예측은 변경하지 않기 때문에, 개념 간의 인과적 의존성을 고려하지 않습니다. 이러한 문제를 해결하기 위해, 우리는 신경 속성 예측기와 인과 그래프로부터 구성된 인과 확률 회로를 결합한 인과 신경 확률 회로(CNPC)를 제안합니다. 이 회로는 인과적 의존성을 내재적으로 존중하는 정확하고 효율적인 인과 추론을 지원합니다. CNPC 모델은 개입 시, 속성 예측기의 예측 분포와 회로에 의해 계산된 개입 마진 분포를 결합하는 Product of Experts (PoE)를 사용하여 클래스 분포를 모델링합니다. 우리는 CNPC의 구성 요소에 대한 이론적인 오차 특성을 분석하고, CNPC가 실제 개입 클래스 분포와 밀접하게 일치하는 조건을 파악했습니다. 5개의 벤치마크 데이터 세트에서, 입력 분포 및 외부 분포 환경 모두에서 CNPC는 5개의 기준 모델과 비교하여, 개입된 속성의 개수에 관계없이 더 높은 작업 정확도를 달성했습니다.

Concept Bottleneck Models (CBMs) enhance the interpretability of end-to-end neural networks by introducing a layer of concepts and predicting the class label from the concept predictions. A key property of CBMs is that they support interventions, i.e., domain experts can correct mispredicted concept values at test time to improve the final accuracy. However, typical CBMs apply interventions by overwriting only the corrected concept while leaving other concept predictions unchanged, which ignores causal dependencies among concepts. To address this, we propose the Causal Neural Probabilistic Circuit (CNPC), which combines a neural attribute predictor with a causal probabilistic circuit compiled from a causal graph. This circuit supports exact, tractable causal inference that inherently respects causal dependencies. Under interventions, CNPC models the class distribution based on a Product of Experts (PoE) that fuses the attribute predictor's predictive distribution with the interventional marginals computed by the circuit. We theoretically characterize the compositional interventional error of CNPC w.r.t. its modules and identify conditions under which CNPC closely matches the ground-truth interventional class distribution. Experiments on five benchmark datasets in both in-distribution and out-of-distribution settings show that, compared with five baseline models, CNPC achieves higher task accuracy across different numbers of intervened attributes.