MindMelody: 뇌파 기반의 폐루프 시스템을 활용한 개인 맞춤형 음악 치료

MindMelody: A Closed-Loop EEG-Driven System for Personalized Music Intervention

정신 건강 문제의 세계적인 심각성에 따라, 음악 기반의 치료법은 비침습적이고 비용 효율적인 감정 조절 및 심리적 스트레스 완화 방법으로서 상당한 관심을 받고 있습니다. 그러나 현재의 디지털 음악 서비스는 사용자의 고정적인 선호도에 의존하며, 사용자의 즉각적인 심리 상태에 적응하지 못합니다. 또한, 뇌파(EEG) 데이터를 직접 음악 생성에 연결하는 것은 쌍으로 연결된 데이터의 부족과 해석 가능성의 부족으로 인해 여전히 어려운 과제입니다. 이러한 한계를 극복하기 위해, 우리는 뇌파 기반의 개인 맞춤형 음악 치료를 위한 완전하고 실시간으로 작동하는 폐루프 시스템인 MindMelody를 제안합니다. MindMelody는 감정을 매개로 하는 의미론적 연결 고리를 도입합니다. 구체적으로, 하이브리드 트랜스포머-GNN은 실시간 뇌파 신호를 전역적인 긍정-흥분 상태와 지역적인 시간적 감정 경향으로 디코딩합니다. 이러한 상태는 검색 증강 생성(RAG) 기술이 적용된 대규모 언어 모델(LLM)에 입력되어 구조화된 치료 계획을 수립합니다. 그 후, 새로운 계층적 뇌파 제어기는 사전 훈련된 음악 모델에 전역적인 감정 정보를 접두사로 추가하고, 지역적인 시간적 지침을 제공하여 정밀하게 제어 가능한 오디오 합성을 가능하게 합니다. 더욱 중요한 점은, 이 시스템은 지속적인 피드백 루프를 통합하여 사용자의 변화하는 뇌파 동역학에 따라 생성 파라미터를 실시간으로 업데이트합니다. 광범위한 실험 결과, MindMelody는 시스템 사용자의 준수율과 감정적 일치를 향상시키며, 단기 청취 환경에서 더 높은 유용성을 제공하는 것으로 나타났습니다. 이는 MindMelody가 적응형 감정 인지 음악 생성 프레임워크로서의 잠재력을 가지고 있음을 시사합니다.

Driven by the escalating global burden of mental health conditions, music-based interventions have attracted significant attention as a non-invasive, cost-effective modality for emotion regulation and psychological stress relief. However, current digital music services rely on static preferences and fail to adapt to users' instantaneous psychological states. Furthermore, directly mapping electroencephalography (EEG) to music generation remains challenging due to severe paired-data scarcity and a lack of interpretability. To address these limitations, we propose MindMelody, a fully functional, closed-loop real-time system for EEG-driven personalized music intervention. MindMelody introduces an emotion-mediated semantic bridge. Specifically, a hybrid Transformer-GNN first decodes real-time EEG signals into global Valence-Arousal states and local temporal affect trajectories. These states are then fed into a Retrieval-Augmented Generation (RAG)-equipped Large Language Model (LLM) to formulate structured intervention plans. Subsequently, a novel Hierarchical EEG Controller injects global affect prefixes and local temporal guidance into a pretrained music backbone, enabling fine-grained controllable audio synthesis. Crucially, the system incorporates a continuous feedback loop that updates generation parameters on the fly based on the user's evolving EEG dynamics. Extensive experiments show that MindMelody improves control adherence and emotional alignment, and receives higher perceived helpfulness in a short-term listening setting, suggesting its promise as an adaptive affect-aware music generation framework.