검출기가 실패하는 지점: 전문가 기반 상호 증류를 통한 도메인 간 격차 해소

Where Detectors Fail: Closing the Tail-Domain Gap with Expert-Guided Mutual Distillation

다중 모드 가짜 뉴스 검출기는 종종 데이터 불균형과 의미적으로 일관되지 않은 텍스트-이미지 쌍으로 인해 발생하는 도메인 특화된 편향 때문에 다양한 환경에서 성능이 저하되는 경향이 있습니다. 이러한 문제는 신뢰할 수 없는 증거에 의존하기 때문입니다. 우리는 전문가 기반 상호 증류(EGMD)라는 방법을 제안합니다. EGMD는 예측 과정 전반에 걸쳐 어떤 증거를 믿어야 하는지를 학습합니다. 입력 단계에서는 입력 수준 교정(input-level calibration)을 통해 쌍별 일관성을 공유된 지표로 활용하여 융합 전에 반영합니다. 표현(representation) 단계에서는 전문가 기반의 '선생' 모델이 도메인 통계치를 정렬하고, 도메인 특화 패턴이 특정 전문가에게 집중되도록 유도합니다. 의사 결정(decision) 단계에서는 프로토타입을 기준으로 하는 도메인 특화된 '학생' 모델들이 상호 학습과 이중 채널 증류를 사용하여 '선생' 모델의 특징 공간과 교정된 예측 값을 활용하면서 동시에 특정 도메인의 편향을 줄입니다. 또한, 데이터 불균형이 일반화에 미치는 영향을 분리하기 위해 도메인 균형 잡힌 벤치마크 데이터셋인 Weibo_Balanced를 구축했습니다. 두 가지 언어로 구성된 네 개의 데이터셋에서 EGMD는 최고 수준의 정확도를 달성했으며, 도메인 편향을 최대 57.3%까지 줄였습니다.

Multimodal fake news detectors often generalize poorly across domains because they learn to trust unreliable evidence: domain-specific shortcuts amplified by imbalanced data and semantically inconsistent text-image pairs that make cross-modal evidence unreliable. We propose Expert-Guided Mutual Distillation (EGMD), which learns what evidence to trust across the prediction pipeline. At the input level, input-level calibration encodes pair-level coherence as a shared gain before fusion. At the representation level, an expert-guided teacher aligns domain statistics and encourages domain-specific patterns to concentrate in specialized experts. At the decision level, prototype-anchored domain-specific students use mutual learning and dual-channel distillation to inherit the teacher's feature geometry and calibrated predictions while discouraging local domain priors. We further construct Weibo_Balanced, a domain-balanced benchmark that isolates the effect of imbalance on generalization. Across four datasets in two languages, EGMD achieves state-of-the-art accuracy while reducing domain bias by up to 57.3%.