Poli-Bias: 거대 언어 모델의 국제 정치 갈등에서의 편향을 이해하고 측정하는 방법

Poli-Bias: Understanding and Measuring Large Language Model Biases in International Political Conflicts

거대 언어 모델(LLM)에서 나타나는 정치적 편향을 측정하는 것은 여전히 어려운 과제입니다. 왜냐하면 이는 프레임, 논증 및 법률적 추론의 미묘한 차이점을 통해 나타나며, 이러한 차이를 단일 지표로 포착하기 어렵기 때문입니다. 본 연구에서는 Poli-Bias라는 반사실적 프레임워크를 소개하여 LLM이 관련된 국가에 따라 법적으로 동등한 갈등 시나리오를 다르게 처리하는지 측정합니다. Poli-Bias는 다양한 지정학적 관계, 법률 위반 및 추론 작업에서 국가 정보를 체계적으로 교환한 쌍으로 구성된 질문에 대한 응답을 비교합니다. 당사의 프레임워크는 편향을 단일 판단으로 축소시키는 대신, 응답 차이를 해석 가능한 다섯 가지 차원으로 분해하여 불평등한 대우가 어떻게 그리고 어디에서 나타나는지 보여줍니다. 다양한 모델 패밀리 및 크기를 가진 13개의 최신 LLM을 대상으로 분석한 결과, 국가 정보와 사용자 소속이 국제법에 따른 동등한 행동의 설명, 평가 및 방어 방식에 체계적으로 영향을 미칠 수 있음을 확인했습니다. 따라서 본 연구는 Poli-Bias를 LLM에서 정치적 공정성 및 아첨 행위를 감사하기 위한 정교한 프레임워크로 제시합니다.

Measuring political bias in large language models (LLMs) remains challenging as it can manifest through subtle differences in framing, argumentation, and legal reasoning that are difficult to capture with a single metric. In this work, we introduce Poli-Bias, a counterfactual framework for measuring whether LLMs treat legally equivalent conflict scenarios differently depending on the countries involved. Poli-Bias compares responses to paired prompts in which country identities are systematically swapped across diverse geopolitical relationships, legal violations, and reasoning tasks. Rather than reducing bias to a single judgment, our framework decomposes response disparities into five interpretable dimensions, revealing how and where unequal treatment manifests. Across 13 contemporary LLMs spanning diverse model families and sizes, we find that country identities and user affiliations can systematically affect how equivalent actions are described, evaluated, and defended under international law. Our results thus establish Poli-Bias as a fine-grained framework for auditing political even-handedness and sycophancy in LLMs.