E^2-LLM: 신경 신호와 해석 가능한 감정 분석의 연결

E^2-LLM: Bridging Neural Signals and Interpretable Affective Analysis

뇌파(EEG) 신호로부터의 감정 인식은 개인 간의 높은 변동성, 제한된 라벨링 데이터, 그리고 기존 접근 방식의 해석 가능성 부족으로 인해 여전히 어려운 과제입니다. 최근 멀티모달 대규모 언어 모델(MLLM)이 감정 분석을 발전시켰지만, 이러한 모델은 신경 신호의 고유한 시공간적 특징을 처리하도록 조정되지 않았습니다. 본 연구에서는 EEG 데이터로부터 해석 가능한 감정 분석을 위한 최초의 MLLM 프레임워크인 E^2-LLM (EEG-to-Emotion Large Language Model)을 제시합니다. E^2-LLM은 사전 학습된 EEG 인코더와 Qwen 기반의 LLM을 학습 가능한 투영 레이어를 통해 통합하며, 감정 구별 사전 학습, 교차 모드 정렬, 그리고 체인-오브-생트 추론을 포함하는 다단계 학습 파이프라인을 사용합니다. 우리는 기본 감정 예측, 다중 작업 추론, 그리고 제로샷 시나리오 이해를 포괄하는 종합적인 평가 프로토콜을 설계했습니다. 일곱 가지 감정 범주로 구성된 데이터 세트에 대한 실험 결과, E^2-LLM은 감정 분류에서 뛰어난 성능을 보여주었으며, 더 큰 모델 변형은 신뢰성이 향상되고 복잡한 추론 시나리오에 대한 뛰어난 제로샷 일반화 능력을 보여주었습니다. 본 연구는 생리적 신호와 LLM 추론 능력을 결합하는 새로운 패러다임을 제시하며, 모델 크기 확장이 감정 컴퓨팅에서 인식 정확도와 해석 가능한 감정 이해를 모두 향상시킬 수 있음을 보여줍니다.

Emotion recognition from electroencephalography (EEG) signals remains challenging due to high inter-subject variability, limited labeled data, and the lack of interpretable reasoning in existing approaches. While recent multimodal large language models (MLLMs) have advanced emotion analysis, they have not been adapted to handle the unique spatiotemporal characteristics of neural signals. We present E^2-LLM (EEG-to-Emotion Large Language Model), the first MLLM framework for interpretable emotion analysis from EEG. E^2-LLM integrates a pretrained EEG encoder with Qwen-based LLMs through learnable projection layers, employing a multi-stage training pipeline that encompasses emotion-discriminative pretraining, cross-modal alignment, and instruction tuning with chain-of-thought reasoning. We design a comprehensive evaluation protocol covering basic emotion prediction, multi-task reasoning, and zero-shot scenario understanding. Experiments on the dataset across seven emotion categories demonstrate that E^2-LLM achieves excellent performance on emotion classification, with larger variants showing enhanced reliability and superior zero-shot generalization to complex reasoning scenarios. Our work establishes a new paradigm combining physiological signals with LLM reasoning capabilities, showing that model scaling improves both recognition accuracy and interpretable emotional understanding in affective computing.