Neurai-VN 벤치마크: 정신 건강 분류를 위한 다중 모드 디지털 페노타이핑의 표준화된 머신 러닝 모델

Neurai-VN Benchmark: Standardized Machine Learning Models for Multimodal Digital Phenotyping in Mental Health Classification

스마트폰 및 웨어러블 기기를 활용한 디지털 페노타이핑(DP)은 정신 건강 모니터링에 상당한 잠재력을 보여주었습니다. 그러나 이질적인 데이터 세트와 일관성 없는 전처리 과정으로 인해 발전 상황을 평가하기 어렵습니다. 본 연구에서는 고해상도의 다중 모드 데이터셋인 Neurai-VN 데이터셋을 기반으로 재현 가능한 벤치마크를 제시합니다. Neurai-VN 데이터셋은 웨어러블 및 스마트폰 기기에서 수집된 수동 감지 및 능동 평가 데이터를 포함하며, 100명의 베트남 성인이 2주 동안 사용했습니다. 본 벤치마크는 표준화된 개인별 교차 검증을 사용하여 평가되는 네 가지 임상적으로 관련된 이진 분류 작업을 정의합니다. 대표적인 선형 모델, 트리 기반 모델 및 신경망 기반 모델을 미리 정의된 특징 구성에 따라 평가했습니다. 다섯 번의 교차 검증에서 건강 대조군과 우울증 간, 그리고 건강 대조군과 임상 상태 간 평균 개인 수준 F1 점수는 각각 0.71로 나타났으며, 건강 대조군과 불안 장애 간, 그리고 우울증과 불안 장애 간은 각각 0.69와 0.56을 달성했습니다. 이러한 벤치마크 결과는 정신 건강 분류 작업을 위한 다중 모드 DP 연구의 향후 발전을 위한 재현 가능한 기준점을 제공합니다.

Digital phenotyping (DP) using smartphones and wearable devices has shown considerable potential for mental health monitoring. However, progress remains difficult to evaluate due to heterogeneous datasets, inconsistent preprocessing pipelines. In this work, we present a reproducible benchmark built upon the Neurai-VN dataset, a high-resolution, multimodal dataset comprising passive sensing and active assessment from wearable and smartphone devices, collected from 100 Vietnamese adults over two weeks. We define four binary classification tasks evaluated using standardized subject-wise cross-validation. Representative linear, tree-based, and neural baseline models are evaluated systematically across predefined feature-group configurations. Mean subject-level F1 scores across five cross-validation folds reached 0.71 for Healthy Control vs. Depression and Healthy Control vs. Clinical, while Healthy Control vs. Anxiety and Depression vs. Anxiety achieved 0.69 and 0.56, respectively. These baseline results provide reproducible baselines for future research on multimodal DP for mental health classification tasks.