PanLUNA: 엣지 바이오시그널 인텔리전스를 위한 효율적이고 강력한 통합 다중 모드 모델

PanLUNA: An Efficient and Robust Query-Unified Multimodal Model for Edge Biosignal Intelligence

생리학 기반 모델(FMs)은 바이오시그널 표현 학습에 유망한 결과를 보여주었지만, 대부분 EEG, ECG 또는 PPG와 같은 단일 모드에 국한되어 있습니다. 이는 주로 쌍으로 연결된 다중 모드 데이터셋이 부족하기 때문입니다. 본 논문에서는 EEG, ECG 및 PPG를 단일 공유 인코더 내에서 함께 처리하는 540만 개의 파라미터로 구성된 경량 다중 모드 FM인 PanLUNA를 제안합니다. PanLUNA는 LUNA의 채널 통합 모듈을 확장하여 다중 모드 채널을 센서 유형 임베딩으로 확장된 통합 쿼리 세트의 항목으로 처리합니다. 이를 통해 효율적인 교차 모드 초기 융합을 가능하게 하면서 동시에 추론 시 누락된 모드에 대한 내성을 유지합니다. 작은 모델 크기에도 불구하고, PanLUNA는 최대 57배 더 큰 모델과 동등하거나 더 나은 성능을 보입니다. 구체적으로, TUAB 이상 EEG 검출에서 81.21%의 균형 잡힌 정확도를 달성했으며, HMC 다중 모드 수면 단계 분석에서 최고 수준인 0.7416의 균형 잡힌 정확도를 기록했습니다. INT8 가중치를 사용한 양자화 인식 학습을 통해 전체 정밀도 성능의 96% 이상을 회복할 수 있으며, 웨어러블 기기에 사용되는 GAP9 초저전력 RISC-V 마이크로컨트롤러에 배포하여 10초 동안 12개의 리드 ECG를 분석하는 데 325.6ms의 지연 시간과 18.8mJ의 에너지를 사용하며, 30초 동안 5채널 다중 모드 수면 단계를 분석하는 데 1.206초의 지연 시간과 68.65mJ의 에너지를 사용합니다.

Physiological foundation models (FMs) have shown promise for biosignal representation learning, yet most remain confined to a single modality such as EEG, ECG, or PPG, largely because paired multimodal datasets are scarce. In this paper, we present PanLUNA, a compact 5.4M-parameter pan-modal FM that jointly processes EEG, ECG, and PPG within a single shared encoder. Extending LUNA's channel-unification module, PanLUNA treats multimodal channels as entries in a unified query set augmented with sensor-type embeddings, enabling efficient cross-modal early fusion while remaining inherently robust to missing modalities at inference time. Despite its small footprint, PanLUNA matches or exceeds models up to 57$\times$ larger: 81.21% balanced accuracy on TUAB abnormal EEG detection and state-of-the-art 0.7416 balanced accuracy on HMC multimodal sleep staging. Quantization-aware training with INT8 weights recovers $\geq$96% of full-precision performance, and deployment on the GAP9 ultra-low-power RISC-V microcontroller for wearables achieves 325.6 ms latency and 18.8 mJ per 10-second, 12-lead ECG inference, and 1.206 s latency at 68.65 mJ for multimodal 5-channel sleep staging over 30-second epochs.