자기 대결과 기술 진화의 만남: 문제를 제시하고, 해결하며, 기억하는 자기 발전형 검색 에이전트

Self-Play Meets Skill Evolution: Self-Evolving Search Agents that Pose, Solve, and Remember

자기 대결 에이전트는 목표 벤치마크에서 질문 없이 학습 데이터를 생성할 수 있지만, 이들의 교육 과정은 지속적인 상태를 갖추지 못합니다. 즉, 실패는 그래디언트에 영향을 미치지만, 미래의 학습 방향을 명시적으로 형성하지는 않습니다. 외부 기술 메모리는 절차적 경험을 보존하지만, 일반적으로 고정된 작업 분포에서 학습됩니다. 본 논문에서는 { extbf{SESA}} (Self-Evolving Skill-Augmented Agent)를 소개합니다. SESA는 절차적 기억을 도구 기반 검색의 자기 대결 방식을 통해 진화하는 상태로 만듭니다. 도전자는 문제를 제시하고, 별도로 파라미터화된 솔버만이 기술을 검색합니다. 유용한 실패 사례는 재사용 가능한 기술로 추출되어 메모리에 다시 기록됩니다. 업데이트된 메모리는 솔버의 행동과 성공률에 영향을 미치며, 이는 도전자의 보상과 미래 문제 분포를 변화시킵니다. 결과적으로 생성되는 새로운 실패 사례는 메모리를 다시 작성합니다. 이러한 양방향 루프는 작업 생성과 기술 메모리의 공동 진화를 가능하게 합니다. 검색된 기술이 정책 학습 경로에 영향을 미치므로, 이들의 장점은 모델 파라미터뿐만 아니라 외부 저장소에도 저장될 수 있습니다. 이를 통해 메모리 없이 배포하거나 선택적으로 추론 시점에 데이터를 가져올 수 있습니다. 7개의 개방형 도메인 및 다단계 질문-응답 벤치마크에서 SESA는 다양한 기반 모델에서 평균 정확도를 SSP (Self-Play Search)보다 1.2~3.2 포인트 향상시키고, 통일된 평가 프로토콜 하에서 기술 증강 방식의 SkillRL 기준 성능보다 0.9 포인트 더 높은 성능을 보였습니다. Qwen3 모델에서 SESA-Off는 SSP보다 1.8~2.2 포인트 향상된 성능을 유지하며, 최종 기술 저장소는 추가적으로 0.5~1.0 포인트의 성능 향상을 제공합니다. 이러한 결과는 진화하는 기술 메모리가 단순히 추론 시점에 사용되는 부가적인 기능이 아니라, 정책 학습과 미래 학습 분포를 변화시키면서도 선택적으로 외부 메모리로 활용될 수 있음을 보여줍니다. 저희 코드와 자료는 다음 링크에서 확인하실 수 있습니다: https://github.com/Zenghuang-Fu/SESA-Self-Evolving-Search-Agents.

Self-play agents can generate training problems without questions from target benchmarks, but their curricula lack persistent state: failures affect gradients yet do not explicitly shape future practice. External skill memories preserve procedural experience but are typically learned from fixed task distributions. We introduce \textbf{SESA} (Self-Evolving Skill-Augmented Agent), which makes procedural memory an evolving state of tool-augmented search self-play. A challenger poses problems, while a separately parameterized solver alone retrieves skills. Informative failures are distilled into reusable skills and written back to memory. The updated memory changes solver behavior and success, which changes the challenger's reward and the distribution of future problems; the resulting frontier produces new failures that rewrite memory. This bidirectional loop makes task generation and skill memory co-evolve. Because retrieved skills shape on-policy training trajectories, their benefits can enter the model parameters as well as remain in the external bank, enabling memory-free deployment and optional inference-time retrieval. Across seven open-domain and multi-hop question-answering benchmarks, SESA improves average accuracy over SSP by 1.2--3.2 points across multiple backbones and surpasses the skill-augmented SkillRL baseline by 0.9 points under a unified evaluation protocol. On Qwen3 models, SESA-Off retains 1.8--2.2 points of improvement over SSP, while the final skill bank adds a further 0.5--1.0 points. These results show that evolving skill memory is not merely an inference-time plug-in: it changes policy learning and the future training distribution while retaining value as optional external memory. Our code is available at https://github.com/Zenghuang-Fu/SESA-Self-Evolving-Search-Agents.