시간 그래프 패턴 머신

Temporal Graph Pattern Machine

시간 그래프 학습은 동적 시스템을 이해하는 데 매우 중요하며, 핵심 과제는 네트워크 변화를 지배하는 근본적인 진화 패턴을 명시적으로 모델링하는 것입니다. 그러나 기존 방법은 주로 특정 작업에 초점을 맞추고 있으며, 단기 의존성 모델링, 정적인 이웃 의미론, 그리고 과거 시간 정보 사용과 같은 제한적인 가정에 의존합니다. 이러한 제약 조건은 일반화된 시간 진화 메커니즘을 발견하는 데 어려움을 초래합니다. 이러한 문제를 해결하기 위해, 본 연구에서는 일반화된 진화 패턴을 직접 학습하는 기반 프레임워크인 Temporal Graph Pattern Machine (TGPM)을 제안합니다. TGPM은 각 상호 작용을 시간 정보를 고려한 랜덤 워크를 통해 생성된 상호 작용 패치로 개념화하여, 즉각적인 이웃 범위를 넘어선 다중 스케일 구조적 의미와 장거리 의존성을 포착합니다. 이러한 패치는 Transformer 기반의 핵심 구조에 의해 처리되며, 이는 전역적인 시간 규칙을 파악하는 동시에 특정 상황에 맞는 상호 작용 역학에 적응하도록 설계되었습니다. 또한, 네트워크 진화의 기본 원리를 명시적으로 인코딩하기 위해, 마스크 토큰 모델링 및 다음 시간 예측과 같은 일련의 자기 지도 학습 사전 훈련 작업을 도입하여 모델의 성능을 향상시켰습니다. 광범위한 실험 결과, TGPM은 전이 학습 및 일반화 예측 모두에서 최첨단 성능을 지속적으로 달성하며, 뛰어난 교차 도메인 전이성을 보여줍니다. 본 연구의 코드는 https://github.com/antman9914/TGPM 에서 공개되어 있습니다.

Temporal graph learning is pivotal for deciphering dynamic systems, where the core challenge lies in explicitly modeling the underlying evolving patterns that govern network transformation. However, prevailing methods are predominantly task-centric and rely on restrictive assumptions -- such as short-term dependency modeling, static neighborhood semantics, and retrospective time usage. These constraints hinder the discovery of transferable temporal evolution mechanisms. To address this, we propose the Temporal Graph Pattern Machine (TGPM), a foundation framework that shifts the focus toward directly learning generalized evolving patterns. TGPM conceptualizes each interaction as an interaction patch synthesized via temporally-biased random walks, thereby capturing multi-scale structural semantics and long-range dependencies that extend beyond immediate neighborhoods. These patches are processed by a Transformer-based backbone designed to capture global temporal regularities while adapting to context-specific interaction dynamics. To further empower the model, we introduce a suite of self-supervised pre-training tasks -- specifically masked token modeling and next-time prediction -- to explicitly encode the fundamental laws of network evolution. Extensive experiments show that TGPM consistently achieves state-of-the-art performance in both transductive and inductive link prediction, demonstrating exceptional cross-domain transferability. Our code has been released in https://github.com/antman9914/TGPM.