CausalCompass: 모델 오차 상황에서의 시계열 인과관계 발견의 강건성 평가

CausalCompass: Evaluating the Robustness of Time-Series Causal Discovery in Misspecified Scenarios

시계열 데이터로부터의 인과관계 발견은 머신러닝 분야의 기본적인 과제입니다. 그러나, 검증 불가능한 인과적 가정에 대한 의존성과 기존 벤치마크에서 강건성 중심의 평가 부족으로 인해 널리 사용되지 못하고 있습니다. 이러한 문제점을 해결하기 위해, 우리는 모델링 가정 위반 하에서 시계열 인과관계 발견(TSCD) 방법의 강건성을 평가하도록 설계된 유연하고 확장 가능한 벤치마크 스위트인 CausalCompass를 제안합니다. CausalCompass의 실용적인 유용성을 보여주기 위해, 우리는 8가지의 가정 위반 시나리오에서 대표적인 TSCD 알고리즘에 대한 광범위한 벤치마킹을 수행했습니다. 실험 결과는 단일 방법이 모든 설정에서 최적의 성능을 지속적으로 달성하지 못한다는 것을 보여줍니다. 그러나, 다양한 시나리오에서 전반적으로 우수한 성능을 보이는 방법은 거의 예외 없이 딥러닝 기반 접근 방식입니다. 또한, 이러한 결과를 더 깊이 이해하기 위한 하이퍼파라미터 민감도 분석을 제공합니다. 놀랍게도, NTS-NOTEARS는 실제 적용에서 표준화된 전처리 과정에 크게 의존하며, 표준화되지 않은 상태에서는 성능이 좋지 않지만 표준화를 통해 강력한 성능을 보이는 것을 확인했습니다. 마지막으로, 우리의 연구는 가정 위반 하에서 TSCD 방법의 종합적이고 체계적인 평가를 제공하여, 실제 응용 분야에서의 광범위한 활용을 촉진하는 것을 목표로 합니다. 코드 및 데이터셋은 https://github.com/huiyang-yi/CausalCompass에서 이용 가능합니다.

Causal discovery from time series is a fundamental task in machine learning. However, its widespread adoption is hindered by a reliance on untestable causal assumptions and by the lack of robustness-oriented evaluation in existing benchmarks. To address these challenges, we propose CausalCompass, a flexible and extensible benchmark suite designed to assess the robustness of time-series causal discovery (TSCD) methods under violations of modeling assumptions. To demonstrate the practical utility of CausalCompass, we conduct extensive benchmarking of representative TSCD algorithms across eight assumption-violation scenarios. Our experimental results indicate that no single method consistently attains optimal performance across all settings. Nevertheless, the methods exhibiting superior overall performance across diverse scenarios are almost invariably deep learning-based approaches. We further provide hyperparameter sensitivity analyses to deepen the understanding of these findings. We also find, somewhat surprisingly, that NTS-NOTEARS relies heavily on standardized preprocessing in practice, performing poorly in the vanilla setting but exhibiting strong performance after standardization. Finally, our work aims to provide a comprehensive and systematic evaluation of TSCD methods under assumption violations, thereby facilitating their broader adoption in real-world applications. The code and datasets are available at https://github.com/huiyang-yi/CausalCompass.