Falcon-X: 이질적인 다변량 모델링을 위한 시계열 기반 모델

Falcon-X: A Time Series Foundation Model for Heterogeneous Multivariate Modeling

시계열 기반 모델(TSFM)은 대규모 교차 도메인 사전 학습을 통해 예측 패러다임을 혁신하고 있습니다. 그러나 대부분의 기존 TSFM은 단변량 모델이며, 최근 다변량 모델링을 가능하게 하려는 시도는 여전히 원본 변수 공간 내에서 직접적으로 작동합니다. 이러한 설계는 의미론적 정렬 및 관계 표현 능력에 근본적인 제한을 초래합니다. 특히, 원시 데이터 그룹 혼합 방식은 이질적인 물리량을 정렬하기 위한 전용 메커니즘이 부족하며, 표준 비음수 어텐션은 실제 시스템에서 흔히 나타나는 복잡한 시너지 및 반작용 상호 작용을 포착하지 못합니다. 이러한 문제를 해결하기 위해, 우리는 원본 변수를 분리하고 통일된 잠재 프로토타입 공간으로 매핑하는 Falcon-X를 제안합니다. Falcon-X는 Unified Prototype Diff-Attention 메커니즘을 사용하여 양수 및 음수의 의미론적 친화력을 명시적으로 평가하여 이질적인 변수를 정렬합니다. 그런 다음, 잠재 엔티티 어텐션을 통해 공유된 공간 내에서 효율적으로 변간 상호 작용을 수행하여 제로샷 구조 전송을 용이하게 합니다. 마지막으로, Variate Reassembly Router는 요청-전달 메커니즘을 통해 각 변수에 특화된 궤적을 안정적으로 재구성합니다. GIFT-Eval 및 fev-bench 벤치마크에 대한 광범위한 실험 결과, Falcon-X가 최첨단 예측 성능을 달성하며 복잡한 다변량 환경에 대한 체계적이고 확장 가능한 패러다임을 제공함을 보여줍니다. Falcon-X는 향후 연구를 지원하기 위해 공개적으로 배포되었습니다.

Time series foundation models (TSFMs) are transforming the forecasting paradigm through large-scale cross-domain pretraining. However, most existing TSFMs remain univariate, and recent efforts to enable cross-variate modeling still operate directly within the raw variate space. This design introduces fundamental limitations in semantic alignment and relational expressivity. Specifically, raw-space group mixing lacks a dedicated mechanism to align heterogeneous physical quantities, while standard non-negative attention fails to capture the complex synergistic and antagonistic interactions ubiquitous in real-world systems. To address these challenges, we propose Falcon-X, decouples variates from the raw space and maps them into a unified latent prototype space. Falcon-X employs a Unified Prototype Diff-Attention mechanism that explicitly evaluates both positive and negative semantic affinities to explicitly align heterogeneous variates. Cross-variate interactions are then efficiently performed within this shared space via Latent Entity Attention, naturally facilitating zero-shot structural transfer. Finally, a Variate Reassembly Router robustly reconstructs variate-specific trajectories via a request-and-dispatch mechanism. Extensive evaluations on the GIFT-Eval and fev-bench benchmarks demonstrate that Falcon-X achieves state-of-the-art forecasting performance, offering a principled and scalable paradigm for complex multivariate environments. Falcon-X is publicly released to support future research.