인센티브 튜닝: 실증적인 인간-AI 의사결정 연구를 위한 인센티브 이해 및 설계

Incentive-Tuning: Understanding and Designing Incentives for Empirical Human-AI Decision-Making Studies

인공지능은 다양한 분야에서 의사결정을 혁신해 왔습니다. 그러나 중요한 의사결정에는 여전히 인간의 판단이 중요합니다. 이러한 점은 인간과 AI 시스템 간의 협력적 의사결정을 탐구하는 연구를 촉진하며, 이를 통해 양측의 장점을 활용하고자 합니다. 이러한 역동적인 관계를 연구하기 위해, 연구자들은 실증 연구를 수행하며, 인간이 의사결정을 위해 AI 지원을 어떻게 사용하는지, 그리고 이러한 협력이 결과에 어떤 영향을 미치는지 조사합니다. 이러한 연구를 수행하는 데 있어 중요한 측면은 연구 참여자의 역할이며, 이들은 종종 크라우드소싱 플랫폼을 통해 모집됩니다. 이러한 연구의 타당성은 참여자의 행동에 달려 있으며, 따라서 참여자의 행동에 영향을 미칠 수 있는 효과적인 인센티브는 이러한 연구를 설계하고 실행하는 데 있어 핵심적인 요소입니다. 본 연구에서는 실증적인 인간-AI 의사결정 연구를 수행하는 데 있어 인센티브 설계가 갖는 중요한 역할에 대해 다루며, 인센티브 체계의 이해, 설계 및 문서화에 중점을 둡니다. 기존 연구에 대한 체계적인 검토를 통해, 인간-AI 의사결정 실증 연구를 위한 인센티브 설계와 관련된 현재의 관행, 과제 및 기회를 탐색했습니다. 인센티브 체계의 구성 요소, 연구자가 인센티브 체계를 어떻게 조작하는지, 그리고 이것이 연구 결과에 미치는 영향과 같은 반복되는 패턴 또는 주제를 파악했습니다. 얻은 이해를 바탕으로, 연구자들이 자신의 연구에 효과적인 인센티브 체계를 설계하는 데 도움이 되는 지침 세트를 개발했습니다. 이 지침 세트는 '인센티브 튜닝 프레임워크'로 명명되었으며, 연구자들이 인센티브 설계 과정을 수행하고, 성찰하고, 문서화하는 방법을 설명합니다. 표준화된 동시에 유연한 인센티브 설계 방식을 옹호하고, 귀중한 통찰력과 실용적인 도구를 제공함으로써, 인간-AI 의사결정 분야에서 보다 신뢰할 수 있고 일반화 가능한 지식을 확보하는 데 기여하고자 합니다.

AI has revolutionised decision-making across various fields. Yet human judgement remains paramount for high-stakes decision-making. This has fueled explorations of collaborative decision-making between humans and AI systems, aiming to leverage the strengths of both. To explore this dynamic, researchers conduct empirical studies, investigating how humans use AI assistance for decision-making and how this collaboration impacts results. A critical aspect of conducting these studies is the role of participants, often recruited through crowdsourcing platforms. The validity of these studies hinges on the behaviours of the participants, hence effective incentives that can potentially affect these behaviours are a key part of designing and executing these studies. In this work, we aim to address the critical role of incentive design for conducting empirical human-AI decision-making studies, focusing on understanding, designing, and documenting incentive schemes. Through a thematic review of existing research, we explored the current practices, challenges, and opportunities associated with incentive design for human-AI decision-making empirical studies. We identified recurring patterns, or themes, such as what comprises the components of an incentive scheme, how incentive schemes are manipulated by researchers, and the impact they can have on research outcomes. Leveraging the acquired understanding, we curated a set of guidelines to aid researchers in designing effective incentive schemes for their studies, called the Incentive-Tuning Framework, outlining how researchers can undertake, reflect on, and document the incentive design process. By advocating for a standardised yet flexible approach to incentive design and contributing valuable insights along with practical tools, we hope to pave the way for more reliable and generalizable knowledge in the field of human-AI decision-making.