DynaBridge: 요약 기반 동적 교차 작업 다중 모드 융합을 통한 DASS 구조 정신 건강 평가

DynaBridge: Dynamic Summary-Guided Cross-Task Multimodal Fusion for DASS-Structured Mental Health Assessment

다중 모드 행동 분석은 우울증, 불안 및 스트레스를 평가하는 확장 가능한 접근 방식을 제공하지만, 일반적인 융합 모델은 종종 설문 조사 레이블의 심리 측정 구조를 무시합니다. DASS-21에서 위험 레이블은 고정된 항목-하위 척도 매핑을 통해 정렬된 증상 항목에서 파생됩니다. 우리는 DASS 구조 정신 건강 평가를 위한 동적 요약 기반 교차 작업 다중 모드 프레임워크인 extbf{DynaBridge}를 제안합니다. DynaBridge는 여러 세션에 걸쳐 음향, 시각 및 텍스트 정보를 인코딩하고, 참가자 수준의 의미론적 증거로서 DASS-인지 요약(frozen-LLM 생성)을 추가합니다. DynaBridge는 순위 항목 분포를 예측하고, 항목 수준의 소프트 스코어를 기반으로 우울증, 불안 및 스트레스 위험 증거를 재구성하며, 이 증거를 직접적인 다중 모드 위험 예측과 융합합니다. 신뢰도 인지 정제 전략은 추가적으로 높은 신뢰도의 의미론적 정보를 보수적으로 통합합니다. 공식 AdoDAS 검증 데이터 세트에서 DynaBridge는 공식 기준 및 대표적인 다중 모드 방법보다 우수한 성능을 보여주며, D/A/S 위험 예측에 대한 평균 F1 점수는 0.5012이고, DASS-21 항목 예측에 대한 평균 QWK 점수는 0.3216입니다. 이러한 결과는 다중 모드 정보, 의미론적 요약 및 DASS-21 심리 측정 구조를 연결하는 것의 가치를 보여줍니다.

Multimodal behavioral analysis offers a scalable approach to assessing depression, anxiety, and stress, yet generic fusion models often ignore the psychometric structure of questionnaire labels. In DASS-21, risk labels are derived from ordered symptom items through fixed item-to-subscale mappings. We propose \textbf{DynaBridge}, a dynamic summary-guided cross-task multimodal framework for DASS-structured mental health assessment. DynaBridge encodes acoustic, visual, and textual cues across multiple sessions and augments them with frozen-LLM-generated DASS-aware summaries as participant-level semantic evidence. It predicts ordinal item distributions, reconstructs depression, anxiety, and stress risk evidence from item-level soft scores, and fuses this evidence with direct multimodal risk predictions. A confidence-aware refinement strategy further incorporates high-confidence semantic cues conservatively. On the official AdoDAS validation split, DynaBridge outperforms the official baseline and representative multimodal methods, achieving 0.5012 mean F1 for D/A/S risk prediction and 0.3216 mean QWK for DASS-21 item prediction. These results show the value of bridging multimodal cues, semantic summaries, and DASS-21 psychometric structure.