PAMF: 사전 지식을 활용한 다중 모드 융합을 통한 불완전 시계열 데이터 처리

PAMF: Prior-Aware Multimodal Fusion for Incomplete Time Series Data

의료 분야에서 다중 모드 시계열 분석은 종종 실제 환경에서 누락된 데이터를 포함합니다. 예를 들어, 심전도(ECG) 데이터가 전극이 떨어져 일부 구간이 사라지거나, 수면 중 모니터링 과정에서 전체 호흡 채널 데이터가 누락될 수 있습니다. 이러한 누락은 크게 두 가지 구조적 패턴으로 나타납니다. 첫째는 특정 모드 내에서 일부 값이 누락되는 경우(모드 내부 누락), 둘째는 전체 모드가 사용 불가능한 경우(모드 레벨 누락)입니다. 기존 방법들은 일반적으로 마스크나 누락 임베딩을 통해 관측되지 않은 데이터를 암묵적으로 표현하며, 개별 데이터에 특화된 누락 정보를 학습하지 못하는 경우가 많습니다. 또한 대부분의 방법은 특정 패턴의 누락에만 적용됩니다. 자연스러운 접근 방식은 누락된 데이터를 명시적으로 추정하는 것입니다. 그러나 기존의 보간(imputation) 방법들은 다양한 구조적 사전 지식을 고려하지 않고 동일하게 누락을 처리하며, 보간 과정이 후속 작업과 분리되어 있어 후속 작업에서 보간 과정을 통해 더 유용한 표현을 얻도록 안내하기 어렵습니다. 이러한 제한점을 해결하기 위해, 본 논문에서는 사전 지식을 활용한 융합(prior-aware flow matching) 및 가중치 공유를 통해 누락된 데이터를 명시적으로 처리하고, 보간과 후속 예측을 결합하는 다중 모드 시계열 프레임워크인 PAMF를 제안합니다. 구체적으로, 본 방법은 유형별 사전 지식을 사용하여 플로우 매칭의 시작 상태를 초기화하여 두 가지 유형의 누락을 구분합니다. 또한, 구조적으로 일치된 인코더와 가중치 공유를 통해 보간과 분류를 연결하고, 작업 관련 표현을 보간 과정으로 전달합니다. 다양한 다중 모드 의료 시계열 벤치마크에 대한 실험 결과, 제안하는 방법이 기존의 기준 방법들보다 다양한 데이터셋 및 누락 환경에서 가장 우수한 성능을 보이는 것을 확인했습니다.

In healthcare, multimodal time series tasks often operate on incomplete observations in practice, for example when ECG segments are lost because electrodes detach or an entire respiratory channel is unavailable during overnight monitoring. Such missingness typically appears in two structurally distinct patterns: within-modality missing, where values are absent within an otherwise observed modality, and modality-level missing, where an entire modality is unavailable. Existing methods typically represent unobserved data implicitly through masks or missing embeddings, without learning instance-specific missing information, and most are designed for only one missingness pattern. A natural approach is to explicitly estimate the missing data; however, existing imputation methods treat missingness uniformly despite their different structural priors, and the imputation process is often isolated from downstream tasks, preventing downstream tasks from guiding imputation toward more informative representations. To address these limitations, we present PAMF, a multimodal time-series framework that explicitly handles different missingness patterns while coupling imputation with downstream prediction through prior-aware flow matching and weight sharing. Specifically, the method initializes the flow-matching source state with type-specific priors to distinguish two missing types. It further connects imputation and classification through architecturally matched encoders with weight sharing, transferring task-relevant representations into the imputation process. Experiments on multiple multimodal healthcare time-series benchmarks show that the proposed method achieves the strongest overall downstream performance across diverse datasets and missing settings compared with existing baselines.