누구에게 어떤 질문을 할 것인가: 다중 LLM 상호작용을 통한 적응형 그룹 정보 수집

Whom to Query for What: Adaptive Group Elicitation via Multi-Turn LLM Interactions

설문조사 및 기타 집단 평가를 통해 잠재적인 그룹 수준의 특성에 대한 불확실성을 줄이기 위해서는 제한된 질문 횟수를 실제 비용과 결측 데이터 하에서 효율적으로 배분해야 합니다. 대규모 언어 모델(LLM)은 자연어 기반의 적응적이고 다중 라운드 상호작용을 가능하게 하지만, 대부분의 기존 정보 수집 방법은 고정된 응답자 풀을 대상으로 질문 내용을 최적화하며, 응답이 부분적이거나 불완전할 경우 응답자 선택을 조정하거나 모집단 구조를 활용하지 않습니다. 이러한 격차를 해소하기 위해, 우리는 질문과 응답자를 모두 적응적으로 선택하는 다중 라운드 설정인 적응형 그룹 정보 수집을 연구합니다. 우리는 (i) 후보 질문의 점수를 매기기 위한 LLM 기반의 기대 정보 획득 목표와 (ii) 관찰된 응답과 참여자 속성을 집계하여 결측값을 추정하고 라운드별 응답자 선택을 안내하는 이종 그래프 신경망 전파를 결합한 이론적으로 뒷받침되는 프레임워크를 제안합니다. 이 폐쇄 루프 절차는 소수의 정보 제공 응답자를 대상으로 질문하며, 구조적 유사성을 통해 모집단 수준의 응답을 추론합니다. 세 가지 실제 의견 데이터 세트에 대한 실험 결과, 제안된 방법은 제한된 예산 하에서 모집단 수준의 응답 예측 성능을 일관되게 향상시키며, 특히 10%의 응답자 예산 하에서 CES(Consumer Electronics Show) 데이터 세트에서 12% 이상의 상대적 성능 향상을 보였습니다.

Eliciting information to reduce uncertainty about latent group-level properties from surveys and other collective assessments requires allocating limited questioning effort under real costs and missing data. Although large language models enable adaptive, multi-turn interactions in natural language, most existing elicitation methods optimize what to ask with a fixed respondent pool, and do not adapt respondent selection or leverage population structure when responses are partial or incomplete. To address this gap, we study adaptive group elicitation, a multi-round setting where an agent adaptively selects both questions and respondents under explicit query and participation budgets. We propose a theoretically grounded framework that combines (i) an LLM-based expected information gain objective for scoring candidate questions with (ii) heterogeneous graph neural network propagation that aggregates observed responses and participant attributes to impute missing responses and guide per-round respondent selection. This closed-loop procedure queries a small, informative subset of individuals while inferring population-level responses via structured similarity. Across three real-world opinion datasets, our method consistently improves population-level response prediction under constrained budgets, including a >12% relative gain on CES at a 10% respondent budget.