확장성을 고려한 성공 전략: 자동화된 데이터셋 구축 및 쿼리 측면 적응을 통한 다중 테넌트 검색 시스템

Succeeding at Scale: Automated Dataset Construction and Query-Side Adaptation for Multi-Tenant Search

대규모 다중 테넌트 검색 시스템은 방대한 쿼리 로그를 생성하지만, 효과적인 도메인 적응을 위한 큐레이션된 관련성 레이블이 부족하여 상당한 양의 활용되지 않은 "암묵적 데이터"가 존재합니다. 이 문제는 모델 업데이트 비용이 높다는 점 때문에 더욱 심화됩니다. 쿼리와 문서 인코더를 동시에 미세 조정하려면 전체 코퍼스를 재색인해야 하는데, 이는 수천 개의 격리된 인덱스를 가진 다중 테넌트 환경에서 비실용적입니다. 본 논문에서는 완전 자동화된 파이프라인을 통해 구축된 기술 고객 지원을 위한 패시지 검색 벤치마크인 DevRev-Search를 소개합니다. 후보 생성은 다양한 희소 및 밀집 검색기를 활용한 융합 방식으로 이루어지며, 이후 LLM을 활용하여 일관성 필터링 및 관련성 레이블링을 수행합니다. 또한, 문서 인덱스를 고정하고 쿼리 인코더만 미세 조정하는 Index-Preserving Adaptation 전략을 제안하여 성능 향상을 달성합니다. DevRev-Search, SciFact, 및 FiQA-2018 데이터셋에 대한 실험 결과, 쿼리 인코더의 파라미터 효율적인 미세 조정(PEFT)은 뛰어난 품질-효율성 균형을 제공하며, 확장 가능하고 실용적인 기업 검색 시스템 적응을 가능하게 합니다.

Large-scale multi-tenant retrieval systems generate extensive query logs but lack curated relevance labels for effective domain adaptation, resulting in substantial underutilized "dark data". This challenge is compounded by the high cost of model updates, as jointly fine-tuning query and document encoders requires full corpus re-indexing, which is impractical in multi-tenant settings with thousands of isolated indices. We introduce DevRev-Search, a passage retrieval benchmark for technical customer support built via a fully automated pipeline. Candidate generation uses fusion across diverse sparse and dense retrievers, followed by an LLM-as-a-Judge for consistency filtering and relevance labeling. We further propose an Index-Preserving Adaptation strategy that fine-tunes only the query encoder, achieving strong performance gains while keeping document indices fixed. Experiments on DevRev-Search, SciFact, and FiQA-2018 show that Parameter-Efficient Fine-Tuning (PEFT) of the query encoder delivers a remarkable quality-efficiency trade-off, enabling scalable and practical enterprise search adaptation.