Edu-MMBias: 교육적 맥락에서 시각-언어 모델의 사회적 편향을 평가하기 위한 세 단계 다중 모드 벤치마크

Edu-MMBias: A Three-Tier Multimodal Benchmark for Auditing Social Bias in Vision-Language Models under Educational Contexts

시각-언어 모델(VLMs)이 교육 의사 결정에 점점 더 중요한 역할을 하게 되면서, 이러한 모델의 공정성을 확보하는 것이 매우 중요합니다. 그러나 현재 텍스트 중심적인 평가 방식은 시각적 모드를 고려하지 않아, 잠재적인 사회적 편향이 통제되지 않은 채 존재할 수 있습니다. 이러한 문제를 해결하기 위해, 우리는 사회 심리학의 태도 삼원 모델에 기반한 체계적인 평가 프레임워크인 Edu-MMBias를 제시합니다. 이 프레임워크는 인지적, 정서적, 행동적 세 가지 계층적 차원에서 편향을 진단합니다. 자체 수정 메커니즘과 인간의 검증을 통합한 특수 생성 파이프라인을 사용하여, 오염에 강한 학생 프로필을 합성하고 최첨단 VLM에 대한 종합적인 스트레스 테스트를 수행합니다. 광범위한 분석 결과, 예상치 못한 중요한 패턴이 드러났습니다. 모델들은 하위 계층에 속하는 학생들의 이야기에 유리한 보상적 편향을 나타내는 동시에, 심각한 건강 및 인종적 고정관념을 내포하고 있었습니다. 더욱 중요한 것은, 시각적 입력이 안전 장치 역할을 하며, 텍스트 기반 정렬 안전 장치를 우회하여 편향이 재발하는 현상을 유발하며, 잠재적인 인지 과정과 최종 의사 결정 사이에 체계적인 불일치를 드러낸다는 점입니다. 본 논문의 기여 내용은 다음 링크에서 확인할 수 있습니다: https://anonymous.4open.science/r/EduMMBias-63B2.

As Vision-Language Models (VLMs) become integral to educational decision-making, ensuring their fairness is paramount. However, current text-centric evaluations neglect the visual modality, leaving an unregulated channel for latent social biases. To bridge this gap, we present Edu-MMBias, a systematic auditing framework grounded in the tri-component model of attitudes from social psychology. This framework diagnoses bias across three hierarchical dimensions: cognitive, affective, and behavioral. Utilizing a specialized generative pipeline that incorporates a self-correct mechanism and human-in-the-loop verification, we synthesize contamination-resistant student profiles to conduct a holistic stress test on state-of-the-art VLMs. Our extensive audit reveals critical, counter-intuitive patterns: models exhibit a compensatory class bias favoring lower-status narratives while simultaneously harboring deep-seated health and racial stereotypes. Crucially, we find that visual inputs act as a safety backdoor, triggering a resurgence of biases that bypass text-based alignment safeguards and revealing a systematic misalignment between latent cognition and final decision-making. The contributions of this paper are available at: https://anonymous.4open.science/r/EduMMBias-63B2.