기초 모델 시대의 예측적 프로세스 모니터링 재검토: 시퀀스, 표형, 그리고 LLM 접근 방식에 대한 비교 연구

Revisiting Predictive Process Monitoring in the Age of Foundation Models: A Comparative Study of Sequence, Tabular, and LLM Approaches

예측적 프로세스 모니터링(PPM)은 이벤트 로그를 활용하여 실행 중인 프로세스 인스턴스의 미래를 예측하는데 사용됩니다. 예를 들어, 다음 활동을 예측하거나, 사례 완료까지 남은 시간 또는 다음 이벤트 발생 시간을 예측할 수 있습니다. 최근 PPM 연구는 주로 Long Short-Term Memory (LSTM) 모델과 같은 처음부터 학습된 심층 시퀀스 모델에 의해 주도되어 왔지만, 기초 모델 접근 방식, 특히 대규모 언어 모델(LLM)이 PPM 분야에서 점점 더 많이 활용되고 있습니다. 동시에, 문맥 내 학습 기능을 갖춘 표형 기초 모델은 유망한 대안을 제공하지만, 아직까지 PPM 측면에서 체계적으로 성능 평가가 이루어지지 않았습니다. 따라서 기존의 시퀀스 기반 모델이 이러한 변화하는 환경에서도 여전히 경쟁력을 유지하는지 불분명합니다. 본 논문에서는 여러 데이터셋과 예측 작업을 통해 설계된 통제된 벤치마크를 사용하여 세 가지 모델링 패러다임을 개념적, 실증적으로 비교 분석합니다. 결과는 시퀀스 모델이 일관되게 다음 활동 예측에서 가장 우수한 성능을 보인다는 것을 보여주며, 표형 기초 모델은 시간 관련 작업에서 경쟁력을 갖추고 있는 반면, LLM은 일반적으로 비용이 더 높음에도 불구하고 뒤쳐지는 경향을 나타냅니다.

Predictive process monitoring (PPM) leverages event logs to forecast the future of running process instances, for instance, predicting the next activity, the remaining time until case completion, or the time to the next event. While PPM research in recent years has been dominated by deep sequence models trained from scratch, such as Long Short-Term Memory (LSTM) models, foundation-model approaches---particularly large language models (LLMs)---are increasingly explored for PPM. At the same time, tabular foundation models with in-context learning capabilities offer a promising alternative but have not yet been systematically benchmarked for PPM. Thus, it remains unclear whether classical sequence-based models remain competitive in this evolving landscape. This paper compares the three modeling paradigms both conceptually and empirically through a controlled benchmark across multiple datasets and prediction tasks. The results show that sequence models consistently perform best for next activity prediction, whereas tabular foundation models are competitive on temporal tasks, with LLMs usually lagging behind despite higher cost.