자가 사전 학습이 의료 시계열 데이터 분석 정확도를 향상시키는 데 실제로 유용한가?

Is Self-Pretraining really useful to improve diagnosis in medical Time Series?

최근 연구에서 트랜스포머 아키텍처가 장문 벤치마크에서 자가 사전 학습(Self-PreTraining, SPT)을 통해 성능 향상을 보이는 것으로 나타났습니다. 본 연구에서는 이러한 효과가 다중 모드, 다변수 및 심지어 단순 단변수 의료 시계열 데이터에도 적용될 수 있는지 조사합니다. 우리의 목표는 다양한 의료 분야에서 트랜스포머 기반 모델의 성능과 확장성에 미치는 SPT의 영향을 평가하고, 특히 데이터가 부족한 환경에서의 효과를 분석하는 것입니다. 본 연구에서는 재활 로봇(Camargo 데이터셋), 스트레스 감지(Non-EEG Stress) 및 파킨슨병 감지(Gait Parkinson's Disease) 등 세 가지 대표적인 의료 시계열 작업에 대해 트랜스포머 아키텍처를 평가합니다. 모델은 처음부터 학습하거나, 시간적 특성과 모달 간의 표현 학습을 촉진하기 위해 설계된 네 가지 마스크 기반 목표를 사용하여 SPT 방식으로 학습됩니다. 또한 모델 깊이를 체계적으로 변경하여 모델 용량이 사전 학습 효과와 어떻게 상호 작용하는지 분석했습니다. 다양한 데이터셋과 설정에서 SPT는 마스킹 전략, 데이터셋 및 아키텍처에 따라 0-6%의 분류 정확도 향상을 보여주었으며, 다변수 환경뿐만 아니라 단순 단변수 입력으로 제한된 모델에서도 성능 향상이 관찰되었습니다. 사전 학습을 통해 얻은 풍부한 시간적 표현을 더 잘 활용할 수 있는 깊은 모델일수록 성능 향상 효과가 더욱 큽니다. 이러한 결과는 SPT가 의료 시계열 작업에서 트랜스포머의 성능을 향상시키는 간단하고 일반적인 전략이며, 특정 작업에 대한 아키텍처 변경 없이 데이터 부족 환경에서의 안정성과 정확도를 높이는 데 기여할 수 있음을 시사합니다.

Inspired by recent evidence that transformer architectures benefit from Self-PreTraining (SPT) on long-context benchmarks, we investigate whether similar gains extend to multimodal, multivariate, and even simple univariate medical time series. Our objective is to assess the impact of SPT on the performance and scalability of transformer-based models across diverse medical applications, particularly under limited data conditions. We evaluate transformer architectures on three representative medical time-series tasks: rehabilitation robotics (Camargo dataset), stress detection (Non-EEG Stress), and Parkinson's disease detection (Gait Parkinson's Disease). Models are trained either from scratch or through SPT using four masking-based objectives designed to promote temporal and cross-modal representation learning, and we systematically vary model depth to examine how capacity interacts with pre-training benefits. Across datasets and configurations, SPT consistently improves classification accuracy by 0-6 percentage points depending on masking strategy, dataset and architecture, with gains observed not only in multivariate settings but also when models are restricted to simple univariate inputs. The improvements increase for deeper models that can better exploit the enriched temporal representations learned during pre-training. These findings indicate that SPT is a simple and general strategy that enhances transformer performance on medical time-series tasks without requiring task-specific architectural changes, supporting its potential to improve robustness and accuracy in data-limited clinical settings.