불연속적인 특징과 연속적인 동역학의 연결: 마크된 시계열 프로세스를 위한 양방향 교차 상호 작용 모델

Bridging Discrete Marks and Continuous Dynamics: Dual-Path Cross-Interaction for Marked Temporal Point Processes

불규칙하게 발생하는 이벤트 시퀀스를 예측하는 것은, 연속 시간 데이터 스트림 내에 내재된 복잡하고 비동기적인 의존성으로 인해 상당한 어려움을 야기합니다. 기존의 시퀀스 기반 방법은 이벤트 토큰 간의 의존성을 파악하지만, 이벤트 사이의 연속적인 변화를 무시하는 반면, 신경망 상미분방정식(Neural ODE) 방법은 부드러운 동역학을 모델링하지만, 이벤트 유형이 미래의 발생 시점에 미치는 영향을 고려하지 못합니다. 이러한 한계를 극복하기 위해, 저희는 이벤트 단위 신경망 진화(Event-granular Neural Evolution)와 교차 상호 작용(Cross-Interaction)을 통해 불연속적인 요소와 연속적인 표현을 통합하는 이중 채널 프레임워크인 NEXTPP를 제안합니다. 구체적으로, NEXTPP는 자체 주의(self-attention) 메커니즘을 사용하여 불연속적인 이벤트 마크를 인코딩하고, 동시에 신경망 ODE를 사용하여 잠재적인 연속 시간 상태를 진화시킵니다. 이러한 병렬 스트림은 교차 주의(cross-attention) 모듈을 통해 융합되어, 연속적인 표현과 불연속적인 표현 간의 명시적인 양방향 상호 작용을 가능하게 합니다. 융합된 표현은 신경망 호크스(Hawkes) 프로세스의 조건부 강도 함수를 구동하며, 반복적인 희소 샘플링(iterative thinning sampler)을 사용하여 미래의 이벤트를 생성합니다. 다섯 가지 실제 데이터 세트에 대한 광범위한 실험 결과, NEXTPP가 최첨단 모델보다 일관되게 우수한 성능을 보임을 보여줍니다. 소스 코드는 다음 위치에서 확인할 수 있습니다: https://github.com/AONE-NLP/NEXTPP.

Predicting irregularly spaced event sequences with discrete marks poses significant challenges due to the complex, asynchronous dependencies embedded within continuous-time data streams.Existing sequential approaches capture dependencies among event tokens but ignore the continuous evolution between events, while Neural Ordinary Differential Equation (Neural ODE) methods model smooth dynamics yet fail to account for how event types influence future timing.To overcome these limitations, we propose NEXTPP, a dual-channel framework that unifies discrete and continuous representations via Event-granular Neural Evolution with Cross-Interaction for Marked Temporal Point Processes. Specifically, NEXTPP encodes discrete event marks via a self-attention mechanism, simultaneously evolving a latent continuous-time state using a Neural ODE. These parallel streams are then fused through a crossattention module to enable explicit bidirectional interaction between continuous and discrete representations. The fused representations drive the conditional intensity function of the neural Hawkes process, while an iterative thinning sampler is employed to generate future events. Extensive evaluations on five real-world datasets demonstrate that NEXTPP consistently outperforms state-of-the-art models. The source code can be found at https://github.com/AONE-NLP/NEXTPP.