자동 도메인 내 예제 구축 및 LLM 기반 정제를 통한 다중 LLM 확장을 활용한 질의 확장

Automatic In-Domain Exemplar Construction and LLM-Based Refinement of Multi-LLM Expansions for Query Expansion

대규모 언어 모델(LLM)을 활용한 질의 확장은 매우 유망하지만, 종종 수동으로 제작된 프롬프트, 수동으로 선택된 예제 또는 단일 LLM에 의존하여 확장 가능성이 낮고 도메인 변화에 민감한 경향이 있습니다. 본 연구에서는 BM25-MonoT5 파이프라인을 사용하여 유사한 문서를 수집하여 도메인에 적응하는 자동화된 질의 확장 프레임워크를 제안합니다. 훈련 없이 클러스터 기반 전략을 사용하여 다양한 예제를 선택함으로써, 감독 없이 강력하고 안정적인 문맥 내 질의 확장을 달성합니다. 모델 간의 상호 보완성을 더욱 활용하기 위해, 두 개의 이기종 LLM이 독립적으로 확장을 생성하고, 또 다른 LLM이 이를 통합하여 일관된 확장을 생성하는 두 LLM 앙상블 시스템을 도입했습니다. TREC DL20, DBPedia, SciFact 데이터셋에서 제안하는 앙상블 시스템은 BM25, Rocchio, 제로샷, 그리고 고정된 소량 학습 기반 모델에 비해 일관되고 통계적으로 유의미한 성능 향상을 보였습니다. 본 프레임워크는 예제 선택 및 다중 LLM 생성에 대한 재현 가능한 테스트 환경을 제공하며, 실제 환경에서의 질의 확장을 위한 실용적이고 레이블이 없는 솔루션을 제공합니다.

Query expansion with large language models is promising but often relies on hand-crafted prompts, manually chosen exemplars, or a single LLM, making it non-scalable and sensitive to domain shift. We present an automated, domain-adaptive QE framework that builds in-domain exemplar pools by harvesting pseudo-relevant passages using a BM25-MonoT5 pipeline. A training-free cluster-based strategy selects diverse demonstrations, yielding strong and stable in-context QE without supervision. To further exploit model complementarity, we introduce a two-LLM ensemble in which two heterogeneous LLMs independently generate expansions and a refinement LLM consolidates them into one coherent expansion. Across TREC DL20, DBPedia, and SciFact, the refined ensemble delivers consistent and statistically significant gains over BM25, Rocchio, zero-shot, and fixed few-shot baselines. The framework offers a reproducible testbed for exemplar selection and multi-LLM generation, and a practical, label-free solution for real-world QE.