불평등한 판단: LLM 기반 가짜 뉴스 탐지에서의 성별 편향 연구

Unequal Verdicts: Investigating Gender Bias in LLM-Based Fake News Detection

최근 대규모 언어 모델(LLM)은 자동 사실 확인에 점점 더 많이 활용되고 있지만, 이러한 맥락에서 LLM이 보이는 성별 편향 문제는 아직 충분히 연구되지 않았습니다. 본 연구는 실제 데이터를 사용하여 LLM 기반 가짜 뉴스 탐지에서의 성별 편향을 체계적으로 조사한 최초의 연구입니다. 우리는 LIAR 벤치마크 데이터셋에 각 진술에 대해 중립, 남성, 여성이라는 세 가지 성별 변형된 발화자 직책 정보를 추가하여, 진실 판단이 성별 표현에만 따라 달라지는지 테스트했습니다. 최첨단 LLM 6개를 다양한 편향 및 공정성 지표를 사용하여 평가한 결과, 모든 모델에서 성별 민감성이 나타났습니다. 9.79%에서 35.13%의 진술이 세 가지 변형에서 일관되지 않은 레이블을 받았으며, 남성-여성 비교에서는 6.5%에서 23.6%의 비율로 판단이 뒤바뀌었습니다. 두 가지 주요한 편향 양상이 확인되었는데, 이는 불안정성(일관되지 않은 판단)과 방향성(체계적인 선호)입니다. 5개의 모델에서 통계적으로 유의미한 방향성 효과가 나타났으며, 가장 강한 효과는 남성에 대한 회의적 경향을 보였습니다. 이러한 결과는 성별 편향이 LLM 기반 가짜 뉴스 탐지의 신뢰성과 공정성을 저해한다는 것을 보여주며, 편향 인지 평가 및 완화 전략의 필요성을 강조합니다. 확장된 데이터셋은 향후 연구를 지원하기 위해 공개됩니다.

Large Language Models (LLMs) are increasingly used for automated fact-checking, yet their susceptibility to gender bias in this context remains underexplored. This study presents the first systematic investigation of gender bias in LLM-based fake news detection using real-world data. We augment the LIAR benchmark with three gender variants of speaker job titles (Neutral, Male, Female) for each statement to test whether veracity judgments vary solely based on gender presentation. Six state-of-the-art LLMs are evaluated across multiple bias and fairness metrics. All models exhibit gender sensitivity: 9.79%-35.13% of statements receive inconsistent labels across the three variants, with Male-Female comparisons showing 6.5%-23.6% flip rates. Two primary bias manifestations are identified: instability (inconsistent judgments) and directionality (systematic favoritism). Five models show statistically significant directional effects, with the strongest effects displaying male-skeptic patterns. These findings demonstrate that gender bias undermines both reliability and fairness in LLM-based fake news detection, highlighting the need for bias-aware evaluation and mitigation strategies. The augmented dataset is publicly released to support future research.