좋은 답변이란 무엇인가? 질적 인터뷰의 품질에 대한 경험적 분석

What Makes a Good Response? An Empirical Analysis of Quality in Qualitative Interviews

질적 인터뷰는 고품질의 답변을 이끌어낼 때 인간의 경험에 대한 필수적인 통찰력을 제공합니다. 질적 연구 및 자연어 처리 연구자들은 인터뷰 품질을 측정하기 위한 다양한 방법을 제안했지만, 이러한 측정 방법들이 실제로 높은 점수를 받는 답변들이 연구 목표 달성에 기여하는지 여부에 대한 검증이 부족합니다. 본 연구에서는 인터뷰 답변 품질에 대한 10가지 제안된 측정 방법을 식별하고, 구현하며, 평가하여, 어떤 측정 방법이 실제로 답변이 연구 결과에 기여하는 정도를 예측하는지 확인합니다. 분석을 위해, 14개의 실제 연구 프로젝트에서 수집된 343개의 인터뷰 기록으로 구성된 새로운 데이터셋인 '질적 인터뷰 코퍼스(Qualitative Interview Corpus)'를 구축했습니다. 분석 결과, 핵심 연구 질문과의 직접적인 관련성이 답변 품질을 가장 강력하게 예측하는 것으로 나타났습니다. 또한, 자연어 처리 인터뷰 시스템 평가에 일반적으로 사용되는 명확성(clarity)과 놀라움 기반 정보성(surprisal-based informativeness) 측정 방법이 답변 품질을 예측하지 못한다는 것을 확인했습니다. 본 연구는 질적 연구 설계 및 자동 인터뷰 시스템 평가를 위한 분석적 통찰력과 실질적이고 확장 가능한 지표를 제공합니다.

Qualitative interviews provide essential insights into human experiences when they elicit high-quality responses. While qualitative and NLP researchers have proposed various measures of interview quality, these measures lack validation that high-scoring responses actually contribute to the study's goals. In this work, we identify, implement, and evaluate 10 proposed measures of interview response quality to determine which are actually predictive of a response's contribution to the study findings. To conduct our analysis, we introduce the Qualitative Interview Corpus, a newly constructed dataset of 343 interview transcripts with 16,940 participant responses from 14 real research projects. We find that direct relevance to a key research question is the strongest predictor of response quality. We additionally find that two measures commonly used to evaluate NLP interview systems, clarity and surprisal-based informativeness, are not predictive of response quality. Our work provides analytic insights and grounded, scalable metrics to inform the design of qualitative studies and the evaluation of automated interview systems.