사람을 연구하여 인공지능을 연구한다: AI 안전 및 윤리 분야 전문가의 관점에서 인간 연구의 타당성과 장벽

Studying People to Study AI: Expert Perspectives on the Epistemic Fit and Barriers of Human Research in AI Safety & Ethics

인공지능 기술과의 상호작용 속에서 인공지능의 안전 문제는 점점 더 명확해지고 있습니다. 이러한 위험을 평가하는 주요 방법은 모델 벤치마크 및 LLM 시뮬레이션과 같은 기술적 방법을 선호하는 경향이 있으며, 종종 인간 피험자를 대상으로 한 실증 연구를 간과합니다. 본 연구는 인간 연구에 대한 수용의 이러한 뚜렷한 격차를 조사하기 위해, 기술, 사회기술, 거버넌스 및 규범 분야의 AI 안전 및 윤리(AISE) 연구자들을 대상으로 설문조사(n=93)와 심층 인터뷰(n=17)를 실시했습니다. 그 결과, AISE 분야에서 인간 연구가 증거를 생성하는 데 가치 있다는 공통된 인식이 있지만, 인식된 타당성 문제, 구체적인 자원 제약, 방법론에 대한 인식적 및 개인적 선호도, 그리고 더 넓은 연구 커뮤니티의 인프라 제약으로 인해 그 채택과 수용이 제한된다는 사실을 확인했습니다. 특히, 기술 분야의 연구자들은 인간 연구를 덜 중요하게 생각하고 학문 간 협력을 덜 하는 경향이 있으며, 이는 인간 연구 방법에 대한 인식적 긴장을 시사합니다. 본 연구에서는 AISE 내에서 인간 연구의 타당성을 확립하고 연구자들이 직면하는 해결 불가능한 제약을 극복하기 위한 방안을 제시하며, 동시에 단순히 '인간 중심'이라는 과장된 표현을 피하고자 합니다.

Safety risks of AI are becoming increasingly evident in human interactions with AI technologies. The prominent approaches to evaluating these risks favor technical methods, such as model benchmarks and LLM simulations, often sidelining empirical research with human subjects. To examine this apparent gap in the acceptance of human research, we conduct an expert survey (n=93) and expert interviews (n=17) with AI Safety & Ethics (AISE) researchers from Technical, Sociotechnical, Governance, and Normative backgrounds. Our findings suggest that although there is a consensus that human research is valuable for generating evidence for AISE, its adoption and acceptance are constrained by perceived validity issues, tangible resource barriers, epistemic and personal preferences in methods, and infrastructural constraints from the broader research community. In particular, Technical researchers tend to value human research less and collaborate across disciplines less, suggesting an epistemic tension towards human methods. We propose recommendations for establishing the epistemic fit of human research within AISE and bridging the prohibitive limitations that researchers face, while avoiding performative 'human-washing'.