Edu-MMBias: 교육적 맥락에서 시각-언어 모델의 사회적 편향을 평가하기 위한 세 단계 다중 모드 벤치마크

Edu-MMBias: A Three-Tier Multimodal Benchmark for Auditing Social Bias in Vision-Language Models under Educational Contexts

시각-언어 모델(VLMs)이 교육 의사 결정에 필수적인 요소가 되면서, 이러한 모델의 공정성을 확보하는 것이 중요합니다. 그러나 현재의 텍스트 중심적인 평가는 시각적 모드를 고려하지 않아, 잠재적인 사회적 편향이 통제되지 않은 상태로 남아 있습니다. 이러한 격차를 해소하기 위해, 우리는 사회 심리학의 태도에 대한 삼성분 모델을 기반으로 체계적인 편향 감사 프레임워크인 Edu-MMBias를 제안합니다. 이 프레임워크는 인지적, 감정적, 행동적 세 가지 계층적 차원에서 편향을 진단합니다. 자체 수정 메커니즘과 인간의 검증을 통합한 특수 생성 파이프라인을 사용하여, 오염에 강한 학생 프로필을 합성하고 최첨단 VLMs에 대한 종합적인 스트레스 테스트를 수행합니다. 우리의 광범위한 감사 결과는 중요한, 직관에 어긋나는 패턴을 보여줍니다. 모델은 하위 계층에 속하는 이야기들을 선호하는 보상적 클래스 편향을 나타내는 동시에, 심오한 건강 및 인종적 고정관념을 내포하고 있습니다. 더욱이, 시각적 입력이 안전 장치 역할을 하여, 텍스트 기반 정렬 안전 장치를 우회하고 잠재적인 인지 과정과 최종 의사 결정 사이에 체계적인 불일치를 드러내는 편향이 재발하는 것을 확인했습니다. 본 논문의 기여 내용은 다음 링크에서 확인할 수 있습니다: https://anonymous.4open.science/r/EduMMBias-63B2.

As Vision-Language Models (VLMs) become integral to educational decision-making, ensuring their fairness is paramount. However, current text-centric evaluations neglect the visual modality, leaving an unregulated channel for latent social biases. To bridge this gap, we present Edu-MMBias, a systematic auditing framework grounded in the tri-component model of attitudes from social psychology. This framework diagnoses bias across three hierarchical dimensions: cognitive, affective, and behavioral. Utilizing a specialized generative pipeline that incorporates a self-correct mechanism and human-in-the-loop verification, we synthesize contamination-resistant student profiles to conduct a holistic stress test on state-of-the-art VLMs. Our extensive audit reveals critical, counter-intuitive patterns: models exhibit a compensatory class bias favoring lower-status narratives while simultaneously harboring deep-seated health and racial stereotypes. Crucially, we find that visual inputs act as a safety backdoor, triggering a resurgence of biases that bypass text-based alignment safeguards and revealing a systematic misalignment between latent cognition and final decision-making. The contributions of this paper are available at: https://anonymous.4open.science/r/EduMMBias-63B2.