RankEvolve: LLM 기반 진화를 통한 검색 알고리즘 자동 발굴

RankEvolve: Automating the Discovery of Retrieval Algorithms via LLM-Driven Evolution

BM25 및 Dirichlet smoothing을 사용한 쿼리 가능성 모델과 같은 검색 알고리즘은 여전히 강력하고 효율적인 초기 단계 순위 결정 도구이지만, 성능 향상은 대부분 파라미터 조정 및 인간의 직관에 의존해 왔습니다. 본 연구에서는 대규모 언어 모델(LLM)이 평가기(evaluator)와 진화적 탐색의 지침을 받아, 향상된 어휘 기반 검색 알고리즘을 자동으로 발굴할 수 있는지 조사합니다. 우리는 AlphaEvolve를 기반으로, 후보 순위 결정 알고리즘을 실행 가능한 코드로 표현하고, 12개의 BEIR 및 BRIGHT IR 데이터 세트에 대한 검색 성능을 기준으로 반복적으로 변형(mutation), 재조합(recombination), 선택(selection)하는 프로그램 진화 시스템인 RankEvolve를 소개합니다. RankEvolve는 BM25 및 Dirichlet smoothing을 사용한 쿼리 가능성 모델이라는 두 개의 초기 프로그램에서 시작합니다. 진화된 알고리즘은 새롭고 효과적이며, 전체 BEIR 및 BRIGHT 벤치마크뿐만 아니라 TREC DL 19 및 20에서도 유망한 성능을 보입니다. 우리의 결과는 평가기 기반 LLM 프로그램 진화가 새로운 순위 결정 알고리즘을 자동으로 발굴하는 실용적인 방법임을 시사합니다.

Retrieval algorithms like BM25 and query likelihood with Dirichlet smoothing remain strong and efficient first-stage rankers, yet improvements have mostly relied on parameter tuning and human intuition. We investigate whether a large language model, guided by an evaluator and evolutionary search, can automatically discover improved lexical retrieval algorithms. We introduce RankEvolve, a program evolution setup based on AlphaEvolve, in which candidate ranking algorithms are represented as executable code and iteratively mutated, recombined, and selected based on retrieval performance across 12 IR datasets from BEIR and BRIGHT. RankEvolve starts from two seed programs: BM25 and query likelihood with Dirichlet smoothing. The evolved algorithms are novel, effective, and show promising transfer to the full BEIR and BRIGHT benchmarks as well as TREC DL 19 and 20. Our results suggest that evaluator-guided LLM program evolution is a practical path towards automatic discovery of novel ranking algorithms.