과제 난이도에 따른 생성형 AI 오류가 사용자 의존성에 미치는 영향

Effects of Generative AI Errors on User Reliance Across Task Difficulty

인공지능(AI)의 능력은 인간에게는 쉬운 과제에서 놀랍게 실패하고, 인간에게는 어려운 과제에서 성공하는 불규칙한 경계를 가지고 있습니다. 본 연구에서는 이러한 현상에 대한 사용자의 반응을 조사하기 위해, 다이어그램 생성 과제를 기반으로 한 인센티브 호환 실험 방법을 개발하고, 생성형 AI의 출력에서 오류를 유발하여 사용자의 의존성에 미치는 영향을 분석했습니다. 사전 등록된 3x2 실험(N = 577)을 통해, 더 쉽거나 어려운 다이어그램 생성 과제에서 오류율을 10%, 30%, 또는 50%로 설정하고, 인터페이스를 시연했습니다. 분석 결과, 오류 발생 빈도가 높을수록 사용량이 감소하는 것을 확인했지만, 예상 외로 쉬운 과제에서 발생한 오류가 어려운 과제에서 발생한 오류보다 사용량 감소에 더 큰 영향을 미치지 않았습니다. 이는 사용자들이 실험 환경에서 AI의 불규칙성에 대해 크게 거부감을 느끼지 않는다는 것을 시사합니다. 향후 연구에서는 과제 난이도를 변경하면서 AI 오류의 다른 특징, 예를 들어 불규칙한 오류 패턴이 얼마나 쉽게 학습되는지 등을 함께 고려할 것을 제안합니다.

The capabilities of artificial intelligence (AI) lie along a jagged frontier, where AI systems surprisingly fail on tasks that humans find easy and succeed on tasks that humans find hard. To investigate user reactions to this phenomenon, we developed an incentive-compatible experimental methodology based on diagram generation tasks, in which we induce errors in generative AI output and test effects on user reliance. We demonstrate the interface in a preregistered 3x2 experiment (N = 577) with error rates of 10%, 30%, or 50% on easier or harder diagram generation tasks. We confirmed that observing more errors reduces use, but we unexpectedly found that easy-task errors did not significantly reduce use more than hard-task errors, suggesting that people are not averse to jaggedness in this experimental setting. We encourage future work that varies task difficulty at the same time as other features of AI errors, such as whether the jagged error patterns are easily learned.