SparkMe: 적응형 준구조화 인터뷰를 통한 질적 인사이트 발견

SparkMe: Adaptive Semi-Structured Interviewing for Qualitative Insight Discovery

사용자 경험에서 얻은 질적 인사이트는 제품 및 정책 결정에 매우 중요하지만, 이러한 데이터를 대규모로 수집하는 것은 인터뷰를 수행할 수 있는 전문가의 시간과 가용성에 의해 제약됩니다. 최근 연구에서는 대규모 언어 모델(LLM)을 사용하여 인터뷰를 자동화하는 방법을 모색했지만, 기존 시스템은 미리 정의된 주제에 대한 체계적인 보장과 인터뷰 중 발생하는 유기적인 주제에 대한 적응적 탐색 간의 균형을 맞추거나, 대화 중에 발생하는 후속 질문, 심층 분석 및 새로운 주제를 추적할 수 있는 메커니즘이 부족합니다. 본 연구에서는 적응형 준구조화 인터뷰를 인터뷰어의 행동에 대한 최적화 문제로 정의합니다. 인터뷰 유용성을 미리 정의된 인터뷰 가이드의 주제 범위, 관련 유망한 주제의 발견, 그리고 인터뷰 길이로 측정되는 인터뷰 비용 간의 균형으로 정의합니다. 이러한 정의를 바탕으로, 우리는 의사 결정을 통해 시뮬레이션된 대화 시나리오를 사용하여 높은 예상 유용성을 가진 질문을 선택하는 다중 에이전트 LLM 인터뷰어인 SparkMe를 소개합니다. 우리는 LLM 기반 인터뷰어를 사용한 통제된 실험을 통해 SparkMe를 평가한 결과, 기존의 LLM 인터뷰 방법보다 더 높은 인터뷰 유용성을 달성하고, 주제 가이드의 보장 범위는 4.7% 향상되었으며, 더 풍부한 유망한 인사이트를 얻으면서 대화 횟수는 더 적게 사용되는 것을 확인했습니다. 또한, 우리는 7개 직업의 70명의 참가자를 대상으로 SparkMe가 AI가 워크플로우에 미치는 영향에 대한 사용자 연구를 수행하여 검증했습니다. 도메인 전문가들은 SparkMe가 기존 방법으로는 파악할 수 없었던 유용한 직무별 인사이트를 제공하는 고품질의 적응형 인터뷰를 생성한다고 평가했습니다. SparkMe의 코드, 데이터셋 및 평가 프로토콜은 https://github.com/SALT-NLP/SparkMe 에서 오픈 소스로 제공됩니다.

Qualitative insights from user experiences are critical for informing product and policy decisions, but collecting such data at scale is constrained by the time and availability of experts to conduct semi-structured interviews. Recent work has explored using large language models (LLMs) to automate interviewing, yet existing systems lack a principled mechanism for balancing systematic coverage of predefined topics with adaptive exploration, or the ability to pursue follow-ups, deep dives, and emergent themes that arise organically during conversation. In this work, we formulate adaptive semi-structured interviewing as an optimization problem over the interviewer's behavior. We define interview utility as a trade-off between coverage of a predefined interview topic guide, discovery of relevant emergent themes, and interview cost measured by length. Based on this formulation, we introduce SparkMe, a multi-agent LLM interviewer that performs deliberative planning via simulated conversation rollouts to select questions with high expected utility. We evaluate SparkMe through controlled experiments with LLM-based interviewees, showing that it achieves higher interview utility, improving topic guide coverage (+4.7% over the best baseline) and eliciting richer emergent insights while using fewer conversational turns than prior LLM interviewing approaches. We further validate SparkMe in a user study with 70 participants across 7 professions on the impact of AI on their workflows. Domain experts rate SparkMe as producing high-quality adaptive interviews that surface helpful profession-specific insights not captured by prior approaches. The code, datasets, and evaluation protocols for SparkMe are available as open-source at https://github.com/SALT-NLP/SparkMe.