MuDD: 다중 모드 기만 감지 데이터셋 및 GSR 기반 점진적 증류를 이용한 비접촉식 기만 감지

MuDD: A Multimodal Deception Detection Dataset and GSR-Guided Progressive Distillation for Non-Contact Deception Detection

비접촉식 자동 기만 감지는 시각 및 청각적 기만 신호가 종종 안정적인 개인 간 패턴을 갖지 않기 때문에 여전히 어려운 과제입니다. 반면, 피부 전기 반응(GSR)은 보다 신뢰할 수 있는 생리학적 신호를 제공하며, 접촉 기반 기만 감지에 널리 사용됩니다. 본 연구에서는 GSR에 내재된 안정적인 기만 관련 지식을 활용하여, 비접촉 방식에서 표현 학습을 지도하고, 모달 간 지식 증류를 통해 이를 구현합니다. 그러나 이러한 접근 방식의 주요 장애물은 이 설정에 적합한 데이터셋의 부족입니다. 이를 해결하기 위해, 130명의 참가자로부터 690분에 걸쳐 수집된 대규모 다중 모드 기만 감지 데이터셋인 MuDD를 소개합니다. MuDD는 비디오, 오디오, GSR 외에도 광전맥파(Photoplethysmography), 심박수 및 성격 특성 데이터를 포함하고 있어, 기만에 대한 광범위한 과학적 연구를 지원합니다. 본 데이터셋을 기반으로, GSR을 기반으로 한 점진적 증류(GPD)라는 모달 간 증류 프레임워크를 제안합니다. GPD의 핵심 혁신은 동적 라우팅을 통합한 점진적인 특징 레벨 및 숫자 레벨 증류를 통해, 모델이 학습 과정에서 교사 모델의 지식을 어떻게 전달해야 하는지를 적응적으로 결정하도록 하여, 보다 안정적인 모달 간 지식 전달을 가능하게 한다는 것입니다. 광범위한 실험 및 시각화를 통해 GPD가 기존 방법보다 우수한 성능을 보이며, 기만 감지 및 숨겨진 숫자 식별 모두에서 최첨단 성능을 달성함을 확인했습니다.

Non-contact automatic deception detection remains challenging because visual and auditory deception cues often lack stable cross-subject patterns. In contrast, galvanic skin response (GSR) provides more reliable physiological cues and has been widely used in contact-based deception detection. In this work, we leverage stable deception-related knowledge in GSR to guide representation learning in non-contact modalities through cross-modal knowledge distillation. A key obstacle, however, is the lack of a suitable dataset for this setting. To address this, we introduce MuDD, a large-scale Multimodal Deception Detection dataset containing recordings from 130 participants over 690 minutes. In addition to video, audio, and GSR, MuDD also provides Photoplethysmography, heart rate, and personality traits, supporting broader scientific studies of deception. Based on this dataset, we propose GSR-guided Progressive Distillation (GPD), a cross-modal distillation framework for mitigating the negative transfer caused by the large modality mismatch between GSR and non-contact signals. The core innovation of GPD is the integration of progressive feature-level and digit-level distillation with dynamic routing, which allows the model to adaptively determine how teacher knowledge should be transferred during training, leading to more stable cross-modal knowledge transfer. Extensive experiments and visualizations show that GPD outperforms existing methods and achieves state-of-the-art performance on both deception detection and concealed-digit identification.