RING: 검색 기반 지식 주입을 통한 지속적인 대규모 지식 통합 방법

RING: Retrieval-Internalized Generation for Continual Large-Scale Knowledge Injection

검색 증강 생성(RAG)은 사실성을 향상시키지만, 서비스 시간에 지연과 엔지니어링 부담을 증가시킵니다. 본 논문에서는 RING (Retrieval-Internalized Generation)이라는 새로운 패러다임을 제안합니다. RING은 아키텍처와 학습 방식을 모두 포괄하며, 대규모 외부 지식을 *메모리 전문가의 집합(Mixture-of-Memory Experts)*에 주입하고 강화 학습을 통해 이 내부 메모리에 대한 파라미터 기반 검색을 학습하여 외부 검색 시스템을 완전히 제거합니다. 학습은 세 단계로 진행됩니다: 첫째, 지속적인 사전 훈련을 통해 새로운 코퍼스를 지식 전문가에 주입하며, 이를 위해 새롭게 개발된 *이중 인과적 주의(Dual Causal Attention)* 메커니즘을 사용합니다. 둘째, 지도 학습을 통해 '검색 후 답변' 패턴을 학습시킵니다. 셋째, 계층적 보상을 활용한 강화 학습을 통해 파라미터 기반 메모리에 대한 라우팅 및 검색 정책을 최적화합니다. 기존의 파라미터 기반 주입 방법이 내부 메모리와 고정되거나 규칙 기반 검색 시스템을 함께 사용하는 것과는 달리, RING은 작업 신호로부터 직접 검색 정책을 학습합니다. 또한, 본 논문에서는 RING을 이론적으로 고전적인 RAG 목표에 대한 검색 불필요한 근사치로 정의합니다. 대규모 지식 주입의 효과를 평가하기 위해, 학습된 LLM의 사전 훈련 종료 시점 이후의 뉴스 데이터만을 사용하여 구성된 News-2025라는 새로운 벤치마크 데이터셋을 구축했습니다. 실험 결과, RING은 정확도와 효율성 측면에서 기존의 검색 기반 RAG 방법과 파라미터 기반 주입 방법을 능가하거나 동등한 성능을 보였습니다.

Retrieval-augmented generation (RAG) improves factuality but adds latency and engineering overhead at serving time. We propose RING (Retrieval-Internalized Generation), a holistic paradigm spanning both architecture and training that injects large-scale external knowledge into a \textit{Mixture-of-Memory Experts} and learns parametric search over this internal memory via reinforcement learning, removing the external retriever entirely. Training proceeds in three stages: continued pre-training injects new corpora into a Knowledge Expert via our novel \textit{Dual Causal Attention}; supervised fine-tuning teaches a ``search-then-answer'' pattern; and reinforcement learning with hierarchical rewards optimizes the routing-and-search policy over the parametric memory. Unlike prior parametric injection methods that pair internal memory with a fixed or rule-based retriever, RING {learns} its retrieval policy directly from task signals. We further frame RING theoretically as a search-free approximation to the classical RAG objective. To evaluate large-scale injection of genuinely {new} knowledge without test-time leakage, we further construct News-2025, a benchmark built from news strictly post-dating the base LLM's pretraining cutoff. RING matches or surpasses both search-based RAG and parametric injection baselines in accuracy and efficiency.