AI의 문화적 지능을 정량화하기 위한 통합 프레임워크

A Unified Framework to Quantify Cultural Intelligence of AI

생성형 AI 기술이 전 세계적으로 빠르게 확산됨에 따라, 다양한 문화적 맥락에서 작동할 수 있는 AI의 역량을 평가하는 것이 시급한 과제가 되고 있습니다. 최근 몇 년 동안 문화적 벤치마킹을 위한 많은 노력이 있었지만, 이러한 노력은 주로 문화의 특정 측면과 평가에 초점을 맞추었습니다. 이러한 노력은 문화적 역량에 대한 이해를 높이는 데 기여하지만, 분야 전체적으로 다양한 문화적 차원을 체계적으로 평가하기 위해서는 통합적인 접근 방식이 필요합니다. 본 연구에서는 측정 이론을 바탕으로, AI의 다각적인 문화적 역량을 통합적으로 평가할 수 있는 체계적인 프레임워크를 제시합니다. 먼저, 핵심 문화 영역을 식별하여 문화의 작동 정의를 개발하고, AI 시스템의 문화적 지능을 평가하기 위한 광범위하고 체계적인 프레임워크를 소개합니다. 심리 측정의 타당성 이론에서 영감을 얻어, 문화적 지능이라는 개념과 측정이라는 실제 적용 방식을 분리합니다. 문화적 지능을 다양한 영역에 걸쳐 핵심 역량의 집합으로 개념화하고, 이를 신뢰성 있는 측정을 위한 지표 집합을 통해 구체화합니다. 마지막으로, 이러한 지표를 의미 있게 측정하기 위한 고려 사항, 과제 및 연구 방향을 제시하며, 특히 데이터 수집, 탐색 전략 및 평가 지표에 중점을 둡니다.

As generative AI technologies are increasingly being launched across the globe, assessing their competence to operate in different cultural contexts is exigently becoming a priority. While recent years have seen numerous and much-needed efforts on cultural benchmarking, these efforts have largely focused on specific aspects of culture and evaluation. While these efforts contribute to our understanding of cultural competence, a unified and systematic evaluation approach is needed for us as a field to comprehensively assess diverse cultural dimensions at scale. Drawing on measurement theory, we present a principled framework to aggregate multifaceted indicators of cultural capabilities into a unified assessment of cultural intelligence. We start by developing a working definition of culture that includes identifying core domains of culture. We then introduce a broad-purpose, systematic, and extensible framework for assessing cultural intelligence of AI systems. Drawing on theoretical framing from psychometric measurement validity theory, we decouple the background concept (i.e., cultural intelligence) from its operationalization via measurement. We conceptualize cultural intelligence as a suite of core capabilities spanning diverse domains, which we then operationalize through a set of indicators designed for reliable measurement. Finally, we identify the considerations, challenges, and research pathways to meaningfully measure these indicators, specifically focusing on data collection, probing strategies, and evaluation metrics.