한 번 사는 것이 아니다: 계층적 기술 메타 진화에 대한 연구

You Live More Than Once: Towards Hierarchical Skill Meta-Evolving

테스트 시간 기반의 기술 진화는 배포된 에이전트 시스템을 향상시키는 새로운 패러다임으로 간주됩니다. 기존 연구에서는 주로 하드 코딩된 기술 진화 전략이나, 기본 LLM에서의 비용이 많이 드는 파라미터 업데이트에 의존하는 매개변수 학습에 초점을 맞추었습니다. 본 논문에서는 에이전트 시스템의 다양한 시나리오에서 지속적인 개선을 위해서는 기술 진화 프레임워크 자체를 테스트 시간에 개선하는 것이 필요하며, 경량 알고리즘 적응이 가능하다는 것을 보여줍니다. 구체적으로, 우리는 HiSME라는 가벼운 계층적 기술 메타 진화 솔루션을 제안합니다. 이 솔루션은 에이전트의 작업 실행 기록으로부터 메타-기술을 학습하여 기술과 기술 진화 전략을 동시에 최적화합니다. 다양한 에이전트 벤치마크 실험 결과, 메타 진화는 순수한 기술 진화보다 더 높은 품질의 기술 라이브러리를 생성할 수 있으며, 서로 다른 시나리오에 대한 다양한 메타-기술을 도출하여 미래의 지속적인 경험 학습을 용이하게 할 수 있음을 보여줍니다. 저희 코드는 임시로 다음 URL에서 공개되어 있습니다: https://anonymous.4open.science/r/HiSME-BD45.

Test-time skill evolving is regarded as a new paradigm for enhancing deployed agentic systems. Existing works mainly focus on hard-coded skill evolving strategies or parametric learning that rely on expensive parameter updates in the underlying LLMs. In this paper, we demonstrate that test-time refinement of the skill evolving framework itself is necessary for continuous improvement of the agent systems in different downstream scenarios, and lightweight algorithmic adaptation is feasible. Specifically, we propose HiSME, a lightweight hierarchical skill meta-evolving solution that jointly optimizes skills and the skill evolving strategy by learning meta-skills from agents' task execution traces. Experiments on diverse agentic benchmarks show that meta-evolving can produce a higher-quality skill library than pure skill evolving and can derive diverse meta-skills for different scenarios, thereby facilitating future continual experience learning. Our code is temporarily public at https://anonymous.4open.science/r/HiSME-BD45.