SeaEvo: 전략 공간 진화를 통한 알고리즘 발견 발전

SeaEvo: Advancing Algorithm Discovery with Strategy Space Evolution

LLM(대규모 언어 모델) 기반 진화적 탐색은 자동 알고리즘 발견을 위한 유망한 패러다임으로 부상했지만, 대부분의 시스템은 실행 가능한 프로그램과 스칼라 적합도 지표를 통해 탐색 진행 상황을 주로 추적합니다. 자연어 기반 피드백이 사용되더라도, 종종 이는 돌연변이 프롬프트 내에서만 국지적으로 사용되거나 명시적인 개체군 수준의 전략 방향 구성 없이 저장됩니다. 그 결과, 진화적 탐색은 동일한 아이디어의 구문적으로 다른 구현 방식과 구별하기 어렵거나, 낮은 적합도를 가지지만 전략적으로 유망한 방향을 유지하기 어렵거나, 특정 전략 패밀리가 포화되었는지 감지하기 어려울 수 있습니다. 저희는 exttt{SeaEvo}를 소개합니다. exttt{SeaEvo}는 모듈식 전략 공간 레이어로, 자연어 기반 전략 설명을 일시적인 프롬프트 컨텍스트에서 LLM 기반 프로그램 탐색의 핵심적인 개체군 수준의 진화 상태로 끌어올립니다. exttt{SeaEvo}는 각 후보 프로그램에 명시적인 자연어 기반 전략 설명을 추가하고, 이 표현을 세 가지 방식으로 활용합니다. 첫째, 전략 명확화(Strategy Articulation)는 돌연변이를 진단-지시-구현 프로세스로 변환합니다. 둘째, 계층화된 경험 검색(Stratified Experience Retrieval)은 아카이브를 전략 클러스터로 구성하고 행동적 상호 보완성을 기반으로 영감을 얻을 수 있는 요소를 선택합니다. 셋째, 전략적 환경 탐색(Strategic Landscape Navigation)은 효과적인 전략 패밀리, 포화된 전략 패밀리, 그리고 탐색되지 않은 전략 패밀리를 주기적으로 요약하여 향후 돌연변이를 안내합니다. 수학적 알고리즘 발견, 시스템 최적화, 그리고 에이전트 스캐폴드 벤치마크에서, exttt{SeaEvo}는 대부분의 경우 기본 진화 알고리즘의 성능을 향상시키며, 특히 개방형 시스템 최적화 작업에서 두드러진 성능 향상(21% 상대적 개선)을 보입니다. 이러한 결과는 지속적인 전략 표현이 LLM 기반 진화적 탐색의 견고성과 효율성을 향상시키는 실용적인 메커니즘을 제공하며, 시간이 지남에 따라 알고리즘 지식을 축적하는 복합 AI 시스템으로 나아갈 수 있는 가능성을 제시합니다.

LLM-guided evolutionary search has emerged as a promising paradigm for automated algorithm discovery, yet most systems track search progress primarily through executable programs and scalar fitness. Even when natural-language reflection is used, it is often used locally in mutation prompts or stored without an explicit population-level organization of strategic directions. As a result, evolutionary search can struggle to distinguish syntactically different implementations of the same idea, preserve lower-fitness but strategically promising directions, or detect when an entire family of strategies has saturated. We introduce \model, a modular strategy-space layer that elevates natural-language strategy descriptions from transient prompt context to first-class population-level evolutionary state in LLM-driven program search. \model augments each candidate program with an explicit natural language strategy description and uses this representation in three ways: Strategy Articulation turns mutation into a diagnose-direct-implement process; Stratified Experience Retrieval organizes the archive into strategy clusters and selects inspirations by behavioral complementarity; and Strategic Landscape Navigation periodically summarizes effective, saturated, and underexplored strategy families to guide future mutations. Across mathematical algorithm discovery, systems optimization, and agent-scaffold benchmarks, \model improves the underlying evolutionary backbones in most settings, with particularly large gains (21% relative improvement) on open-ended system optimization tasks. These results suggest that persistent strategy representations provide a practical mechanism for improving the robustness and efficiency of LLM-guided evolutionary search, suggesting a path toward compound AI systems that accumulate algorithmic knowledge over time.