GAM-RAG: 진화하는 검색 기반 생성 모델을 위한 적응형 이득 메모리

GAM-RAG: Gain-Adaptive Memory for Evolving Retrieval in Retrieval-Augmented Generation

검색 기반 생성 (RAG) 모델은 대규모 언어 모델을 외부 증거와 연결하지만, 많은 구현 방식은 구축 후에는 변경되지 않는 사전 구축된 인덱스에 의존합니다. 따라서 관련 쿼리는 유사한 다중 단계 탐색을 반복하여 지연 시간과 계산 비용을 증가시킵니다. 인지 신경과학의 스키마 기반 학습에서 영감을 받아, 우리는 학습이 필요 없는 프레임워크인 GAM-RAG을 제안합니다. GAM-RAG은 반복되거나 관련된 쿼리로부터 검색 경험을 축적하고 시간이 지남에 따라 검색 메모리를 업데이트합니다. GAM-RAG은 가벼운, 관계 기반이 아닌 계층적 인덱스를 구축하며, 이 인덱스의 링크는 고정된 의미 관계가 아닌 잠재적인 공존 관계를 포착합니다. 추론 과정에서, 성공적인 검색 에피소드는 문장 수준의 피드백을 제공하여, 유사한 추론 유형에 유용한 증거를 나중에 쉽게 활성화할 수 있도록 문장 메모리를 업데이트합니다. 노이즈가 있는 피드백 환경에서 안정성과 적응성을 균형 있게 유지하기 위해, 우리는 불확실성을 고려한, 칼만 필터에서 영감을 받은 이득 규칙을 도입하여 메모리 상태와 퍼플렉시티 기반 불확실성 추정치를 동시에 업데이트합니다. 이 규칙은 신뢰할 수 있는 새로운 신호에 대해서는 빠른 업데이트를 적용하고, 안정적이거나 노이즈가 많은 메모리에 대해서는 보수적인 수정을 적용합니다. 우리는 업데이트 동역학에 대한 이론적 분석을 제공하고, 실험적으로 GAM-RAG이 가장 강력한 기준 모델보다 평균적으로 3.95%의 성능 향상을 보이며, 5턴 메모리를 사용하는 경우 8.19%의 성능 향상을 보인다는 것을 보여주었습니다. 또한, 추론 비용을 61% 줄였습니다. 저희의 코드와 데이터셋은 다음 링크에서 확인할 수 있습니다: https://anonymous.4open.science/r/GAM_RAG-2EF6.

Retrieval-Augmented Generation (RAG) grounds large language models with external evidence, but many implementations rely on pre-built indices that remain static after construction. Related queries therefore repeat similar multi-hop traversal, increasing latency and compute. Motivated by schema-based learning in cognitive neuroscience, we propose GAM-RAG, a training-free framework that accumulates retrieval experience from recurring or related queries and updates retrieval memory over time. GAM-RAG builds a lightweight, relation-free hierarchical index whose links capture potential co-occurrence rather than fixed semantic relations. During inference, successful retrieval episodes provide sentence-level feedback, updating sentence memories so evidence useful for similar reasoning types becomes easier to activate later. To balance stability and adaptability under noisy feedback, we introduce an uncertainty-aware, Kalman-inspired gain rule that jointly updates memory states and perplexity-based uncertainty estimates. It applies fast updates for reliable novel signals and conservative refinement for stable or noisy memories. We provide a theoretical analysis of the update dynamics, and empirically show that GAM-RAG improves average performance by 3.95% over the strongest baseline and by 8.19% with 5-turn memory, while reducing inference cost by 61%. Our code and datasets are available at: https://anonymous.4open.science/r/GAM_RAG-2EF6.