CMT-RAG: 다중 회전, 멀티홉 RAG 시스템을 위한 상호 보완적 메모리 추적 기법

CMT-RAG: Complementary Memory Traces for Multi-turn Multi-hop RAG

다중 회전 정보 검색 대화는 멀티홉 추론과 함께 여러 턴에 걸친 장거리 의존성 추적을 필요로 합니다. 그러나 기존의 RAG (Retrieval-Augmented Generation) 시스템은 일반적으로 대화 메모리를 원시 대화 기록, 재작성된 질의 또는 비정형 요약으로 표현하여, 후속 질의에 필요한 특정 이전 추론 단계와 증거를 복구하기 어렵게 만듭니다. 본 연구의 핵심 아이디어는 대화 맥락을 하위 질문 수준의 추론 정보로 표현하여 검색과 대화 메모리를 연결하는 것입니다. 이러한 아이디어를 바탕으로, 우리는 명시적인 턴 간 하위 질문 의존성 주석이 포함된 다중 회전 멀티홉 RAG 시스템을 위한 벤치마크인 MuMu-QA와, 이 설정을 위한 상호 보완적 메모리 프레임워크인 CMT-RAG를 소개합니다. CMT-RAG는 각 턴에서 상태 공간 추적 생성기를 사용하여 실시간 메모리로 작동하는 순환 상태를 통해 최근의 대화 맥락을 통합하고 현재 질의를 검색 지향적인 하위 질문과 이전 추론에 대한 의존성을 포함하는 구조화된 추적 초안으로 분해합니다. 그런 다음, 이 초안을 검색된 증거와 연결하여 세션 수준의 DAG (Directed Acyclic Graph)에서 지속적인 메모리 추적으로 저장함으로써, 향후 턴에서 관련 이전 추론과 증거를 효율적으로 복구할 수 있도록 합니다. MuMu-QA 및 코퍼스 레벨 RAG 벤치마크에서의 실험 결과, CMT-RAG는 답변 정확도 측면에서 다섯 가지 유형의 RAG 기본 모델보다 일관되게 우수한 성능을 보였습니다.

Multi-turn information-seeking conversations require both multi-hop reasoning and long-range dependency tracking across turns. However, existing RAG systems typically represent conversational memory as raw dialogue history, rewritten queries, or unstructured summaries, making it difficult to recover the specific prior reasoning steps and evidence required for follow-up queries. Our key insight is to align conversational memory with retrieval by representing dialogue context as sub-question-level reasoning traces. Building on this insight, we introduce MuMu-QA, a benchmark for multi-turn multi-hop RAG with explicit cross-turn sub-question dependency annotations, and CMT-RAG, a complementary memory framework for this setting. At each turn, CMT-RAG employs a state-space trace generator, whose recurrent state serves as runtime memory, to incorporate recent conversational context and decompose the current query into structured trace drafts containing retrieval-oriented sub-questions and dependencies on earlier traces. It then grounds these drafts with retrieved evidence and stores them as persistent memory traces in a session-level DAG, enabling future turns to efficiently recover relevant prior reasoning and evidence. Experiments on MuMu-QA and corpus-level RAG benchmarks show that CMT-RAG consistently outperforms five categories of RAG baselines in answer accuracy.