편향의 교향곡: 다중 모드 대규모 언어 모델에서 악기와 성별 간 연관성에 대한 연구

Symphony of Bias: Exploring Gender Associations with Musical Instruments in Multimodal LLMs

대규모 언어 모델(LLM)은 일상생활에 점점 더 많이 활용되고 있으며, 정보 검색에도 널리 사용되면서 사회적 편견을 영속시키고 고정관념을 강화할 수 있다는 우려가 제기되고 있습니다. 본 연구에서는 LLM의 악기에 대한 연관성을 통해 성별 편향을 조사합니다. 사회 과학 분야의 악기 관련 문화적 성별 분류 연구를 바탕으로, 텍스트, 이미지 및 오디오 데이터를 포함하는 다중 모드 데이터셋인 Symphony-Bias를 구축했습니다. 다양한 구조와 규모를 가진 10개의 다중 모드 모델을 사용하여 22가지 악기에 대해 평가하며, 각 모델이 악기를 {남성, 여성, 중성} 세 가지 성별 범주로 어떻게 연결하는지, 그리고 {텍스트, 이미지, 오디오} 세 가지 모달리티에서 이러한 연관성이 어떻게 나타나는지 분석했습니다. 그 결과, 92%의 악기 수준 결과가 기존 사회 과학 연구 결과와 일치했으며, 하프와 드럼은 평가된 모든 모델과 모달리티에서 특히 일관적인 성별 관련성을 보였습니다. 또한, 사회적 고정 관념과의 일치는 오디오에서는 가장 약하고, 이미지에서는 더 강하며, 텍스트에서는 가장 강한 것으로 나타났습니다. 이는 모달리티별 표현이 악기에 대한 성별 관련성을 다르게 증폭시킬 수 있음을 시사합니다. (Symphony-Bias 데이터셋은 논문 게재 승인 후 공개될 예정입니다.)

Large language models (LLMs) are increasingly embedded in everyday life and widely used for information seeking, raising concerns about their potential to perpetuate social biases and reinforce stereotypes. In this study, we investigate gender bias in LLMs through the lens of their associations with musical instruments. Building on social-science research on the cultural gender-typing of instruments, we introduce Symphony-Bias, a parallel multimodal dataset spanning text, vision, and audio. We evaluate ten multimodal models with diverse architectures and scales across 22 musical instruments, analyzing how they associate each instrument with three gender categories: {male, female, non-binary}, across three modalities: {text, vision, audio}. Our results show that 92\% of instrument-level outcomes align with prior social-science findings, with the harp and drums showing particularly consistent gendered associations across all evaluated models and modalities. We further find that alignment with social stereotypes is weakest in audio, stronger in vision, and strongest in text, suggesting that modality-specific representations can differentially amplify gendered associations with musical instruments.\footnote{The Symphony-Bias dataset will be publicly released upon acceptance of the paper.}