AutoIndex: 검색을 위한 표현 프로그램 학습

AutoIndex: Learning Representation Programs for Retrieval

본 논문에서는 AutoIndex를 소개합니다. AutoIndex는 표현 프로그램을 학습하는 프레임워크로, 이 프로그램은 원본 문서를 검색 시스템에 사용될 수 있는 표현으로 변환하는 실행 가능한 변환입니다. 기존 방식처럼 검색기, 재순위화 모델 또는 일부 전처리 하이퍼파라미터를 조정하는 대신, AutoIndex는 인덱싱 전에 문서의 부분을 추출하거나, 내용을 풍부하게 만들거나, 정규화하거나, 가중치를 다시 지정하거나, 문서를 재구성하는 프로그램들을 탐색합니다. 각 반복마다 AutoIndex는 검증 데이터를 기반으로 프로그램 검색을 수행하며, 에이전트들이 현재 프로그램의 실패 원인을 진단하고 후보 업데이트를 생성하여, 결과 인덱스에서 검색 품질을 향상시키는 업데이트만 유지합니다. 저희는 다양한 검색 작업 벤치마크인 CRUMB 데이터셋에서 AutoIndex를 평가했습니다. 여기서 BM25 알고리즘은 모든 실험에서 고정되었습니다. 학습된 프로그램들은 모든 8개의 작업에서 정적 전체 문서 기반의 BM25 모델보다 높은 재현율을 보였으며, 평균적으로 Recall@100에서 +8.4%, nDCG@10에서 +8.3%의 성능 향상을 달성했습니다. 또한 일부 작업에서는 Recall@100에서 최대 +30.5%, nDCG@10에서 최대 +43.6%의 성능 향상을 보였습니다. 이러한 결과는 문서 표현이 검색 시작 전에 결정되는 고정된 전처리 단계가 아니라, 명시적인 최적화 목표로 간주되어야 함을 시사합니다. 저희의 결과를 재현하기 위한 코드는 https://github.com/auto-index/autoindex 에서 확인할 수 있습니다.

We present AutoIndex, a framework for learning representation programs: executable transformations that map raw documents into the representations exposed to a retrieval system. Rather than tuning retrievers, rerankers, or a small set of preprocessing hyperparameters, AutoIndex searches over programs that slice, enrich, normalize, reweight, or reorganize documents before indexing. At each iteration, AutoIndex performs validation-guided program search, in which agents diagnose failures of the current program and synthesize candidate updates, retaining only updates that improve retrieval quality under the resulting index. We evaluate AutoIndex on CRUMB, a benchmark of heterogeneous retrieval tasks, with BM25 held fixed across all experiments. The learned programs improve recall over a static full-document BM25 baseline on all 8 tasks, with average gains of +8.4% in Recall@100 and +8.3% in nDCG@10, and largest gains of +30.5% in Recall@100 and +43.6% in nDCG@10. These results suggest that document representation should not be treated as a fixed preprocessing choice made before retrieval begins, but as an explicit optimization target. Code to reproduce our results is available at https://github.com/auto-index/autoindex.