D$^2$F-ReAG: 다중 홉 추론 증강 생성 모델을 위한 동적 분해 및 필터링

D$^2$F-ReAG: Dynamic Decomposition and Filtering for Multi-Hop Reasoning-Augmented Generation

대규모 언어 모델(LLM)은 종종 정적인 내부 지식에 의존하기 때문에 부정확한 답변을 생성하는 경우가 많습니다. 검색 기반 증강 생성(RAG)은 외부 지식을 통합하여 이 문제를 해결하며, 단일 홉 쿼리에서는 뛰어난 성능을 보입니다. 그러나 여러 문서를 참조해야 하는 다중 홉 질문에는 어려움을 겪습니다. 기존 방법인 그래프 구조 RAG 또는 질문 분해는 종종 동적 분해 및 효과적인 필터링이 부족하여 효율성과 정확도가 낮아지는 문제가 있습니다. 이러한 제한 사항을 극복하기 위해, 우리는 다중 홉 추론 증강 생성을 위한 동적 분해 및 필터링(D2F-ReAG)이라는 새로운 패러다임을 제안합니다. 이 방법은 루트 레벨 추론의 신뢰도를 판단하여 추론 깊이를 적응적으로 조절합니다. 루트 추론이 신뢰할 수 있는 경우, 모델은 직접 답변을 생성합니다. 그렇지 않은 경우, 질문을 논리적으로 하위 질문으로 분해하고, 이러한 하위 질문에서 파생된 검증된 추론을 사용하여 루트 추론을 개선합니다. 세 가지 다중 홉 벤치마크를 사용한 실험 결과는 본 방법이 복잡한 다중 홉 질문을 처리하는 데 효과적임을 보여줍니다.

Large language models (LLMs) often generate inaccurate answers due to their reliance on static internal knowledge. Retrieval-augmented generation (RAG) addresses this limitation by integrating external knowledge and excelling at single-hop queries. However, it struggles with multi-hop questions that require cross-document reasoning. Existing methods, such as graph structured RAG or question decomposition, often lack dynamic decomposition and effective filtering, which leads to lower efficiency and accuracy. To overcome these limitations, we propose Dynamic Decomposition and Filtering for Multi-Hop Reasoning-Augmented Generation (D2F-ReAG), a novel paradigm that adaptively controls reasoning depth by judging the reliability of the root-level reasoning. If the root reasoning is reliable, the model directly generates the answer. Otherwise, the question is logically decomposed into sub-questions, and the verified reasoning derived from these sub-questions is used to refine the root reasoning. Experiments on three multi-hop benchmarks demonstrate the effectiveness of our method in handling complex multi-hop questions.