TreeHop: 효율적인 임베딩 레벨 기반 질의 재작성 기법

TreeHop: Efficient Embedding-Level Query Rewriter

검색 증강 생성(RAG) 시스템은 다중 단계 질문 응답(MHQA)에서 상당한 어려움을 겪습니다. MHQA는 복잡한 질의를 처리하기 위해 여러 문서 조각에 걸쳐 정보를 종합해야 하기 때문입니다. 기존 접근 방식은 일반적으로 반복적인 LLM 기반 질의 재작성 및 라우팅에 의존하며, 이는 반복적인 LLM 호출과 다단계 프로세스로 인해 높은 계산 비용을 초래합니다. 이러한 제한 사항을 해결하기 위해, 우리는 LLM이 필요 없는 임베딩 레벨 프레임워크인 TreeHop을 제안합니다. TreeHop은 이전 질의 및 검색된 문서에서 얻은 의미 정보를 융합하여 질의 임베딩을 동적으로 업데이트하며, 이를 통해 임베딩 공간 연산을 통해서만 반복적인 검색을 수행할 수 있습니다. 이 방법은 기존의 "검색-재작성-벡터화-검색" 사이클을 간소화된 "검색-임베딩-검색" 루프로 대체하여 계산 오버헤드를 크게 줄입니다. 또한, 효율성과 재현율 간의 균형을 맞추기 위해 규칙 기반 중지 기준이 도입되어 불필요한 검색을 더욱 줄입니다. 실험 결과는 TreeHop이 네 가지 공개 도메인 MHQA 데이터 세트에서 고급 RAG 방법과 경쟁하며, 동시에 현재 솔루션의 2.2%~29.4% 수준의 파라미터 크기로 쿼리 지연 시간을 92.8%~97.8% 단축하여 우수한 성능을 보임을 보여줍니다. 따라서 TreeHop은 리소스가 부족하거나 지연 시간에 민감한 환경에 적합한 더 빠르고 비용 효율적인 솔루션입니다. 재현성을 위해 코드와 데이터는 다음 위치에서 확인할 수 있습니다: https://github.com/allen-li1231/TreeHop-RAG

Retrieval-augmented generation (RAG) systems face significant challenges in multi-hop question answering (MHQA), where complex queries require synthesizing information across multiple document chunks. Existing approaches typically rely on iterative LLM-based query rewriting and routing, resulting in high computational costs due to repeated LLM invocations and multi-stage processes. To address these limitations, we propose TreeHop, an embedding-level framework without the need for LLMs in query refinement. TreeHop dynamically updates query embeddings by fusing semantic information from prior queries and retrieved documents, enabling iterative retrieval through embedding-space operations alone. This method replaces the traditional "Retrieve-Rewrite-Vectorize-Retrieve" cycle with a streamlined "Retrieve-Embed-Retrieve" loop, significantly reducing computational overhead. Moreover, a rule-based stopping criterion is introduced to further prune redundant retrievals, balancing efficiency and recall rate. Experimental results show that TreeHop rivals advanced RAG methods across four open-domain MHQA datasets, achieving comparable performance with only 2.2\%-29.4\% of the parameter size of concurrent solutions and reducing the query latency by 92.8\%-97.8\%. This makes TreeHop a faster and more cost-effective solution for low-resource or latency-sensitive deployment. For reproducibility purposes, codes and data are available here: https://github.com/allen-li1231/TreeHop-RAG