HypRAG: 검색 증강 생성(Retrieval Augmented Generation)을 위한 쌍곡선 기반 밀집 검색

HypRAG: Hyperbolic Dense Retrieval for Retrieval Augmented Generation

임베딩 기하학은 검색 품질에 중요한 역할을 하지만, 검색 증강 생성(RAG)을 위한 밀집 검색 모델은 대부분 유클리드 공간에 머물러 있습니다. 그러나 자연어는 광범위한 주제부터 구체적인 개체에 이르기까지 계층적 구조를 가지며, 유클리드 임베딩은 이러한 구조를 보존하지 못하여 의미적으로 멀리 떨어진 문서들이 유사하게 나타나고, 이는 환각(hallucination) 위험을 증가시킵니다. 이러한 한계를 해결하기 위해, 우리는 쌍곡선 기반 밀집 검색을 소개하며, 쌍곡선 공간의 로렌츠 모델에서 두 가지 모델 변형을 개발합니다. 첫 번째는 완전한 쌍곡선 트랜스포머인 HyTE-FH이고, 두 번째는 사전 훈련된 유클리드 임베딩을 쌍곡선 공간으로 투영하는 하이브리드 아키텍처인 HyTE-H입니다. 시퀀스 집계 과정에서 표현의 붕괴를 방지하기 위해, 우리는 계층적 구조를 보존하는 기하학 기반 풀링 연산자인 '아웃워드 아인슈타인 미드포인트(Outward Einstein Midpoint)'를 도입했습니다. MTEB 데이터셋에서 HyTE-FH는 동등한 유클리드 기반 모델보다 성능이 우수했으며, RAGBench 데이터셋에서 HyTE-H는 현재 최고 성능의 검색 모델보다 훨씬 작은 모델 크기로, 문맥 관련성 및 답변 관련성 측면에서 최대 29%의 성능 향상을 달성했습니다. 또한, 우리의 분석 결과, 쌍곡선 표현은 문서의 구체성을 정규화 기반으로 분리하여 표현하며, 일반적인 개념에서 구체적인 개념으로 이동할 때 20% 이상의 방사형 증가를 보입니다. 이는 유클리드 임베딩에서는 나타나지 않는 특징이며, 이는 충실한 RAG 시스템에서 기하학적 유도 편향의 중요한 역할을 강조합니다.

Embedding geometry plays a fundamental role in retrieval quality, yet dense retrievers for retrieval-augmented generation (RAG) remain largely confined to Euclidean space. However, natural language exhibits hierarchical structure from broad topics to specific entities that Euclidean embeddings fail to preserve, causing semantically distant documents to appear spuriously similar and increasing hallucination risk. To address these limitations, we introduce hyperbolic dense retrieval, developing two model variants in the Lorentz model of hyperbolic space: HyTE-FH, a fully hyperbolic transformer, and HyTE-H, a hybrid architecture projecting pre-trained Euclidean embeddings into hyperbolic space. To prevent representational collapse during sequence aggregation, we introduce the Outward Einstein Midpoint, a geometry-aware pooling operator that provably preserves hierarchical structure. On MTEB, HyTE-FH outperforms equivalent Euclidean baselines, while on RAGBench, HyTE-H achieves up to 29% gains over Euclidean baselines in context relevance and answer relevance using substantially smaller models than current state-of-the-art retrievers. Our analysis also reveals that hyperbolic representations encode document specificity through norm-based separation, with over 20% radial increase from general to specific concepts, a property absent in Euclidean embeddings, underscoring the critical role of geometric inductive bias in faithful RAG systems.