TurboEvolve: LLM 기반 프로그램 진화의 속도 및 안정성 향상을 위한 연구

TurboEvolve: Towards Fast and Robust LLM-Driven Program Evolution

LLM(Large Language Model) 기반 프로그램 진화는 고품질 프로그램을 발견할 수 있지만, 높은 비용과 실행 간의 변동성은 안정적인 발전의 걸림돌이 됩니다. 본 연구에서는 고정된 평가 예산 하에서 샘플 효율성과 안정성을 향상시키는 다중 아일랜드 진화 프레임워크인 TurboEvolve를 제안합니다. TurboEvolve는 진화 알고리즘의 다중 자손 전략에서 영감을 받아, LLM에게 K개의 다양한 후보를 생성하도록 지시하고, 각 후보에 LLM이 직접 할당한 샘플링 가중치를 부여하는 '구두화된 샘플링(verbalized Sampling)' 기법을 도입합니다. 또한, 탐색이 정체될 때는 K 값을 늘리고, 안정적인 발전 단계에서는 오버헤드를 줄이는 온라인 스케줄러를 사용합니다. 기존 솔루션 풀을 활용하기 위해, 우리는 '시드 풀 주입(seed-pool injection)'이라는 방법을 추가적으로 제안합니다. 이 방법은 시드를 클러스터링하고, 제어된 변동과 엘리트 보존을 통해 다양한 솔루션과 개선된 솔루션을 균형 있게 유지하면서 각 아일랜드에 할당합니다. 여러 프로그램 최적화 벤치마크에서 TurboEvolve는 낮은 예산으로 더 우수한 성능을 보이며, 여러 작업에서 최고 성능을 달성했습니다.

LLM-driven program evolution can discover high-quality programs, but its cost and run-to-run variance hinder reliable progress. We propose TurboEvolve, a multi-island evolutionary framework that improves sample efficiency and robustness under fixed evaluation budgets. Inspired by the multiple-offspring strategy in evolutionary algorithms, TurboEvolve introduces verbalized Sampling, prompting the LLM to emit K diverse candidates with explicit self-assigned sampling weights, and an online scheduler that adapts K to expand exploration under stagnation and reduce overhead during steady progress. To exploit existing solution pools, we further propose "seed-pool injection," which clusters seeds and assigns them across islands with controlled perturbations and elitist preservation to balance diversity and refinement. Across multiple program-optimization benchmarks, TurboEvolve consistently achieves stronger performance at lower budgets and improves best-known solutions on several tasks.