MLEvolve: 자동 머신러닝 알고리즘 발견을 위한 자기 진화 프레임워크

MLEvolve: A Self-Evolving Framework for Automated Machine Learning Algorithm Discovery

대규모 언어 모델(LLM) 에이전트는 과학적 발견 및 머신러닝 엔지니어링(MLE)과 같은 장기적인 작업에 점점 더 많이 활용되고 있으며, 지속적인 자기 진화는 핵심 역량이 됩니다. 그러나 기존의 MLE 에이전트는 분기 간 정보 격리, 기억 없는 검색, 계층적 제어 부족이라는 문제점을 가지고 있어 장기적인 최적화를 저해합니다. 본 논문에서는 엔드투엔드 머신러닝 알고리즘 발견을 위한 LLM 기반의 자기 진화형 멀티 에이전트 프레임워크인 MLEvolve를 제시합니다. MLEvolve는 트리 검색을 Progressive MCGS로 확장하여 그래프 기반 참조 엣지를 통해 분기 간 정보 흐름을 가능하게 하고, 엔트로피에 영감을 받은 점진적인 스케줄을 사용하여 검색을 광범위한 탐색에서 집중적인 활용으로 점차적으로 전환합니다. 또한, 에이전트가 축적된 경험을 바탕으로 진화할 수 있도록 작업별 경험 검색 및 재사용을 위한 동적 글로벌 메모리와 함께 초기 지식 베이스를 결합한 Retrospective Memory를 도입했습니다. 안정적인 장기 반복을 위해 전략적 계획과 코드 생성 단계를 분리하고 적응형 코딩 모드를 사용합니다. MLE-Bench에서의 실험 결과, MLEvolve는 평균 메달 획득률 및 유효 제출률 측면에서 최고 수준의 성능을 달성했으며, 이는 표준 실행 시간의 절반인 12시간 이내에 이루어진 것입니다. 또한, MLEvolve는 AlphaEvolve를 포함한 특수 알고리즘 발견 방법보다 수학적 알고리즘 최적화 작업에서 더 나은 성능을 보여주며, 강력한 교차 도메인 일반화 능력을 입증합니다. 저희 코드는 https://github.com/InternScience/MLEvolve 에서 확인할 수 있습니다.

Large language model (LLM) agents are increasingly applied to long-horizon tasks such as scientific discovery and machine learning engineering (MLE), where sustained self-evolution becomes a key capability. However, existing MLE agents suffer from inter-branch information isolation, memoryless search, and lack of hierarchical control, which together hinder long-horizon optimization. We present MLEvolve, an LLM-based self-evolving multi-agent framework for end-to-end machine learning algorithm discovery. By extending tree search to Progressive MCGS, MLEvolve enables cross-branch information flow through graph-based reference edges and gradually shifts the search from broad exploration to focused exploitation with an entropy-inspired progressive schedule. To allow the agent to evolve with accumulated experience, we introduce Retrospective Memory, which combines a cold-start domain knowledge base with a dynamic global memory for task-specific experience retrieval and reuse. For stable long-horizon iteration, we further decouple strategic planning from code generation with adaptive coding modes. Evaluation on MLE-Bench shows that MLEvolve achieves state-of-the-art performance across multiple dimensions including average medal rate and valid submission rate under a 12-hour budget (half the standard runtime). Moreover, MLEvolve also outperforms specialized algorithm discovery methods including AlphaEvolve on mathematical algorithm optimization tasks, demonstrating strong cross-domain generalization. Our code is available at https://github.com/InternScience/MLEvolve.