마음의 공정성, 행동의 공정성? UMLLM의 이해 및 생성 능력을 평가하기 위한 동시 벤치마크

Fair in Mind, Fair in Action? A Synchronous Benchmark for Understanding and Generation in UMLLMs

인공지능(AI)이 다양한 분야에 적용됨에 따라 공정성을 확보하는 것이 핵심 과제가 되었습니다. 그러나 현재 이 분야는 '바벨탑'의 딜레마에 직면해 있습니다. 다양한 공정성 지표들이 존재하지만, 그 기반이 되는 철학적 가정들이 종종 충돌하여 통일된 패러다임을 구축하는 데 어려움을 겪고 있습니다. 특히, 다양한 모달리티를 통합하는 대규모 언어 모델(UMLLM)에서는 편향이 시스템적으로 여러 작업에 걸쳐 전파될 수 있습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 UMLLM의 이해 및 생성 작업의 공정성을 동시에 평가하도록 설계된 최초의 벤치마크인 IRIS 벤치마크를 소개합니다. 본 벤치마크는 당사에서 개발한 인구 통계 분류기인 ARES와 4개의 대규모 데이터 세트를 활용하여, 임의의 지표들을 정규화하고 통합하여 고차원적인 '공정성 공간'을 구축합니다. 이 공간은 이상적인 공정성, 현실 세계와의 일치성, 그리고 편향의 관성과 제어 가능성(IRIS)이라는 세 가지 차원을 포함하는 60개의 세분화된 지표로 구성됩니다. IRIS 벤치마크를 통해, 주요 UMLLM을 평가한 결과 '생성 격차', '개인별 불일치'와 같은 현상, 그리고 '반고정관념 강화' 등의 문제점을 발견했습니다. 또한, 이러한 문제점들을 해결하고 UMLLM의 공정성 기능을 최적화하기 위한 진단 방법을 제시합니다. IRIS 벤치마크는 새로운 프레임워크를 통해 진화하는 공정성 지표들을 통합할 수 있으며, 궁극적으로 '바벨탑'의 난제를 해결하는 데 기여할 것입니다. 프로젝트 페이지: https://iris-benchmark-web.vercel.app/

As artificial intelligence (AI) is increasingly deployed across domains, ensuring fairness has become a core challenge. However, the field faces a "Tower of Babel'' dilemma: fairness metrics abound, yet their underlying philosophical assumptions often conflict, hindering unified paradigms-particularly in unified Multimodal Large Language Models (UMLLMs), where biases propagate systemically across tasks. To address this, we introduce the IRIS Benchmark, to our knowledge the first benchmark designed to synchronously evaluate the fairness of both understanding and generation tasks in UMLLMs. Enabled by our demographic classifier, ARES, and four supporting large-scale datasets, the benchmark is designed to normalize and aggregate arbitrary metrics into a high-dimensional "fairness space'', integrating 60 granular metrics across three dimensions-Ideal Fairness, Real-world Fidelity, and Bias Inertia & Steerability (IRIS). Through this benchmark, our evaluation of leading UMLLMs uncovers systemic phenomena such as the "generation gap'', individual inconsistencies like "personality splits'', and the "counter-stereotype reward'', while offering diagnostics to guide the optimization of their fairness capabilities. With its novel and extensible framework, the IRIS benchmark is capable of integrating evolving fairness metrics, ultimately helping to resolve the "Tower of Babel'' impasse. Project Page: https://iris-benchmark-web.vercel.app/