CausalMoE: 패턴 기반 이종 전문가를 활용한 그리랑저 인과 관계 발견을 위한 초대규모 다중 모드 기초 모델

CausalMoE: A Billion-Scale Multimodal Foundation Model for Granger Causal Discovery with Pattern-Routed Heterogeneous Experts

그리랑저 인과 관계 발견(GCD)은 복잡한 시스템에서 시간적 의존성을 분석하는 데 필수적인 기술입니다. 그러나 기존의 신경망 기반 GCD 방법들은 대부분 '모든 것에 적용 가능'한 패러다임에 의존하며, 실제 시계열 데이터에 내재된 분포 변화 및 동적 체제 전환을 제대로 포착하지 못하여 종종 얽힌 표현과 잘못된 인과 그래프를 생성하는 문제가 발생합니다. 본 논문에서는 패치 수준의 이질성을 명시적으로 모델링하는 초대규모 다중 모드 그리랑저 인과 관계 기초 모델인 CausalMoE를 제안합니다. CausalMoE는 잠재적인 시간적 패턴을 동적으로 식별하고 패치를 전문 분야 전문가에게 연결하는 패턴 기반 혼합 전문가(Mixture of Heterogeneous Experts) 방식을 도입하여, 특정 체제에 따른 메커니즘과 공유된 역학을 효과적으로 분리합니다. 해석 가능한 그래프 복구를 보장하기 위해, 변수 전체에서 작동하는 인과 관계 인식 자기 주의(Causality-Aware Self-Attention) 메커니즘을 설계하여 희소한 그리랑저 인과 그래프를 얻도록 합니다. 또한 CausalMoE는 기존 연구와 달리 LLM(대규모 언어 모델) 및 VLM(대규모 비전 모델)을 통합하여 수치 신호를 텍스트 및 시각적 사전 지식과 연결함으로써, 복잡한 상황에서의 인과 관계 추정을 규제합니다. 광범위한 실험 결과는 CausalMoE가 완전 지도 학습 환경에서 최첨단 성능을 달성하며, 기존 방법이 실패하는 소량 데이터 환경에서도 효과적으로 일반화됨을 보여줍니다.

Granger Causal Discovery (GCD) is fundamental for analyzing temporal dependencies in complex systems. However, existing neural GCD methods predominantly rely on a "one-size-fits-all" paradigm, struggling to capture distribution shifts and dynamic regime changes inherent in real-world time series. This often leads to entangled representations and spurious causal graphs. In this paper, we propose CausalMoE, a billion-scale multimodal Granger causal foundation model that explicitly models patch-level heterogeneity. CausalMoE introduces a Pattern-Routed Mixture of Heterogeneous Experts, which dynamically identifies latent temporal patterns and routes patches to specialized domain experts, effectively decoupling regime-specific mechanisms from shared dynamics. To ensure interpretable graph recovery, we design a Causality-Aware Self-Attention mechanism operating across variables, yielding sparse Granger causal graphs via proximal optimization. Furthermore, CausalMoE is the first to integrate LLMs and VLMs to align numerical signals with textual and visual priors, regularizing causal estimation in complex scenarios. Extensive experiments demonstrate that CausalMoE establishes a new state-of-the-art on fully supervised benchmarks, while effectively generalizing to few-shot settings where traditional methods fail.