CoEvoKG: 자기 진화 검색 에이전트와 함께 공진화하는 지식 그래프

CoEvoKG: Co-Evolving Knowledge Graphs with Self-Evolving Search Agents

대규모 언어 모델은 검색 에이전트에 대한 강화 학습을 통해 성능을 향상시킬 수 있지만, 기존의 자기 학습 에이전트는 반복적으로 작업을 생성하면서 성공적인 검색 과정에서 얻은 지식을 잊는 경향이 있습니다. 본 논문에서는 지식 그래프를 검증 가능한 학습 작업의 원천이자 에이전트 진화를 위한 지속적인 증거 메모리로 활용하는 프레임워크인 CoEvoKG를 소개합니다. CoEvoKG는 작업 생성기와 검색 에이전트를 함께 훈련시키는데, 작업 생성기는 지식 그래프에서 추출한 엔터티 체인을 기반으로 멀티홉 질문을 생성하고, 검색 에이전트는 답변의 정확성과 그래프 증거에 의해 뒷받침되는 엔터티 경로를 활용하여 보상을 받으며 학습합니다. 검색이 성공하면 CoEvoKG는 검색된 증거를 검증하고 중복을 제거한 후 해당 지식 그래프의 노드와 엣지에 기록합니다. 이후 라운드에서는 이 풍부해진 지식 그래프를 사용하여 작업 생성과 보상 계산에 활용하며, 모델 자체 진화와 지식 축적 간의 순환 구조를 형성합니다. Qwen2.5-3B-Instruct, Qwen2.5-7B-Instruct 및 Llama-3.1-8B-Instruct 세 가지 기반 모델을 사용하여 6개의 질의응답 벤치마크(NQ, TriviaQA, PopQA, HotpotQA, 2WikiMultiHopQA, Bamboogle)에서 실험한 결과, CoEvoKG는 해당 기본 모델 대비 평균 정확도를 각각 +11.2, +10.1 및 +11.6 포인트 향상시켰습니다. 동일한 학습 예산을 사용했을 때, CoEvoKG는 세 가지 기반 모델 모두에서 기존의 자기 학습 방식과 강화 학습 기반 검색 에이전트보다 평균 +2.6에서 +3.7 포인트 더 높은 성능을 보였습니다. 코드 및 관련 자료는 https://github.com/lazzy1225/CoEvoKG 에서 확인할 수 있습니다.

Large language models can improve with reinforcement learning for search agents, yet existing self play agents repeatedly generate tasks while discarding the knowledge gained during successful searches. We introduce CoEvoKG, a framework that turns a knowledge graph into both a source of verifiable training tasks and a persistent evidence memory for agent evolution. CoEvoKG jointly trains a task generator and a search agent: the generator creates multihop questions from entity chains sampled from the knowledge graph, while the agent learns from rewards for answer correctness and search trajectories whose entity paths are supported by graph evidence. When a search succeeds, CoEvoKG verifies and deduplicates the retrieved evidence, then writes it back to the corresponding graph nodes and edges. Future rounds reuse this enriched graph for task generation and reward computation, closing the loop between model self evolution and knowledge accumulation. Experiments on six QA benchmarks (NQ, TriviaQA, PopQA, HotpotQA, 2WikiMultiHopQA, and Bamboogle) with three backbone models show that CoEvoKG improves macro average accuracy over the corresponding base models by +11.2, +10.1, and +11.6 points on Qwen2.5-3B-Instruct, Qwen2.5-7B-Instruct, and Llama-3.1-8B-Instruct, respectively. Under matched training budgets, CoEvoKG further improves over competitive self play baselines and RL baselines for search agents by +2.6 to +3.7 macro average points across the three backbones. Code is available at https://github.com/lazzy1225/CoEvoKG.