지도적 인과 추론을 위한 테스트 시간 학습

Test Time Training for Supervised Causal Learning

지도적 인과 추론(Supervised Causal Learning, SCL)은 인과 관계 발견 문제를 지도 학습 문제로 정의함으로써 유망한 결과를 보여주었습니다. 그러나 SCL은 상당한 일반화 성능 저하라는 어려움을 겪습니다. 본 연구에서는 기존 SCL 방법의 세 가지 제한점을 밝혀냅니다. 첫째, 합성 벤치마크 데이터와 실제 데이터 간의 성능 격차가 크다는 점입니다. 둘째, 데이터 분포 변화에 취약하다는 점이며, 셋째, 조합적 일반화 능력이 부족하다는 점입니다. 이러한 문제점들은 SCL의 실제 적용 가능성에 의문을 제기합니다. 이러한 문제를 해결하기 위해, 본 연구에서는 테스트 시간 학습(Test-Time Training)을 활용한 지도적 인과 추론 프레임워크(TTT-SCL)를 제안합니다. TTT-SCL은 특정 테스트 인스턴스와 명시적으로 일치하는 훈련 데이터 세트를 동적으로 생성합니다. 본 연구에서는 TTT-SCL과 점수 기반 방법 간의 상관관계를 설명하고, 기존의 고전적인 점수 함수를 기반으로 훈련 데이터 세트를 효율적으로 생성하는 모듈을 설계했습니다. 합성 벤치마크, 준실제 및 실제 데이터 세트에 대한 실험 결과는 TTT-SCL이 기존 SCL 방법과 전통적인 인과 관계 발견 방법보다 훨씬 우수한 성능을 보임을 보여줍니다.

Supervised Causal Learning (SCL) has shown promise in causal discovery by framing it as a supervised learning problem. However, it suffers from significant out-of-distribution generalization challenges. We reveal three limitations of previous SCL practices: a significant performance gap between synthetic benchmarks and real-world data, fragility to distribution shifts, and failure in compositional generalization, collectively questioning its real-world applicability. To address this, we propose Test-Time Training for Supervised Causal Learning (TTT-SCL), a novel framework that dynamically generates training sets explicitly aligned with any specific test instance. We demonstrate the correlation between TTT-SCL and score-based methods, and design an efficient module for generating training sets based on the classic scoring function. Experiments on synthetic benchmarks, pseudo-real and real-world datasets demonstrate that TTT-SCL significantly outperforms existing SCL and traditional causal discovery methods.