SAKE: 강화 학습을 통한 복잡한 LLM 추론을 위한 구조화된 지능형 지식 확장

SAKE: Structured Agentic Knowledge Extrapolation for Complex LLM Reasoning via Reinforcement Learning

지식 확장은 명시적으로 제공되는 기존 지식을 결합하고 확장하여 새로운 정보를 추론하는 과정입니다. 이는 방대한 외부 지식을 검색하기 어렵고 전문 분야의 복잡한 질문을 해결하는 데 필수적입니다. 본 논문에서는 강화 학습 기반의 지능형 프레임워크인 SAKE (Structured Agentic Knowledge Extrapolation)를 제안합니다. SAKE는 LLM이 도구 증강 강화 학습을 통해 구조화된 지식을 자율적으로 검색하고 확장하도록 훈련합니다. SAKE는 두 가지 외부 KG 도구를 정의합니다: 엔티티 그룹 구성 및 그룹 간 삼중항 검색. 모델은 세 단계의 실행 과정에서 이 두 가지 검색 도구를 혼합하여 사용합니다: 핵심 엔티티 추출, 관련 개념 그룹 필터링, 그리고 새로운 삼중항을 유사성을 통해 구성함으로써 연관 추론을 수행합니다. 전체 파이프라인은 GRPO를 사용하여 출력 형식과 답변 정확도를 결합한 보상을 통해 최적화됩니다. 이를 통해 모델은 무엇을 검색해야 하는지, 그리고 어떻게 그 정보를 활용하여 추론해야 하는지를 학습합니다. 실험 결과, SAKE로 미세 조정된 Qwen2.5-7B 모델이 GPT-3.5-Turbo를 능가하며 생물 의학 (75.4% vs. 70.1%) 및 상식 영역 (81.3% vs. 74.7%)의 최첨단 지능형 KG 추론 성능을 보여주었습니다. 또한 토큰 사용량을 90% 이상 줄였습니다. 이러한 결과는 불완전한 구조화된 지식에 대한 연관 추론이 복잡하고 다단계 프롬프팅을 사용하는 대규모 모델이 아닌, 적절한 도구와 학습 신호를 통해 작은 크기의 오픈 소스 모델로 강화 학습을 통해 종단 간으로 학습될 수 있음을 보여줍니다. 저희의 코드는 다음 링크에서 확인할 수 있습니다: https://github.com/jxfan99/SAKE.

Knowledge extrapolation is the process of inferring novel information by combining and extending existing knowledge that is explicitly available. It is essential for solving complex questions in specialized domains where retrieving comprehensive external knowledge is impractical. We propose SAKE (Structured Agentic Knowledge Extrapolation), a RL powered agentic framework that trains LLMs to autonomously retrieve and extrapolate structured knowledge through tool-augmented reinforcement learning. SAKE defines two exte nal KG tools: entity group construction and cross-group triplet retrieval. The model learns to interleave these 2 retrieval tools during a three-turn rollout: extracting key entities, filtering relevant concept groups, and associative reasoning by constructing new triplets through analogy. The entire pipeline is optimized end-to-end with GRPO using a reward that combines output format and answer correctness, teaching the model what to retrieve and how to reason over it. Our experiments proved that SAKE fine-tuned Qwen2.5-7B model surpasses GPT-3.5-Turbo with state-of-the-art agentic KG reasoning on both biomedical (75.4% vs. 70.1%) and commonsense (81.3% vs. 74.7%) benchmarks, while reducing token usage by over 90%. These results demonstrate that associative reasoning over incomplete structured knowledge does not require large models with complex, multi-step prompting, thus can be learned end-to-end by small, open-weight models through reinforcement learning with the right tools and training signal. Our code is available at https://github.com/jxfan99/SAKE.