ICICLE: 문맥 내 문서 기반 검색 확장

ICICLE: Expanding Retrieval with In-Context Documents

생성적 검색(Generative Retrieval, GR)은 파라미터 지식을 활용하여 질의를 직접 문서 식별자(docid)에 매핑합니다. 그러나 이러한 설계는 코퍼스 확장에 비용을 발생시킵니다. 새로운 문서를 추가하려면 모델 파라미터를 업데이트해야 하며, 이는 새로운 문서-docid 연결을 인코딩하기 위해 반복적인 학습이 필요하며 이전에 색인된 문서의 정보가 손실될 수 있습니다(catastrophic forgetting). 본 연구에서는 점진적 GR을 문맥 내 검색 문제로 재검토합니다. 여기서 새로 추가된 문서들은 추론 시 문서-docid 증거로 제공됩니다. 우리는 ICICLE이라는 문맥 기반 인덱싱 프레임워크를 제안합니다. ICICLE은 파라미터 메모리와 함께 제공되는 문맥 정보를 활용하여 문서-docid 쌍을 기반으로 소스에 대한 인지 기능을 갖춘 docid 생성을 수행합니다. ICICLE은 `[COPY]` 기반 라우팅 메커니즘, 선호도 기반 교정 및 대규모 컨텍스트 적응을 결합하여 문맥 기반 검색과 파라미터 기반 검색을 구별합니다. MS MARCO 및 NQ320K 데이터셋에 대한 실험 결과, ICICLE은 코퍼스 특정 재학습 없이 새롭게 추가된 문서의 검색 성능을 향상시키면서 기존 문서의 유지율도 높이는 것으로 나타났습니다. 또한 분석 결과, few-shot 환경에서의 성능 저하는 주로 라우팅 실패로 인해 발생하는 것으로 확인되었으며, 이는 소스 선택 교정을 확장 가능한 문맥 기반 생성적 검색의 주요 병목 현상으로 강조합니다.

Generative retrieval (GR) maps queries directly to document identifiers (docids) using parametric knowledge, However, this design makes corpus expansion costly: adding new documents requires updating model parameters to encode new document-docid associations incurs repeated training and catastrophic forgetting of previously indexed documents. In this work, we revisit incremental GR as an in-context retrieval problem, where newly added documents are supplied as inference-time document-docid evidence. We propose ICICLE, an in-context indexing framework that performs source-aware docid generation over both parametric memory and context-provided document-docid pairs. ICICLE combines a `[COPY]`-based routing mechanism, preference-based calibration, and large context adaptation to distinguish context-grounded retrieval from parametric retrieval. Experiments on MS MARCO and NQ320K show that ICICLE improves retrieval of newly introduced documents while preserving seen-document retention without corpus-specific retraining. Our analysis further shows that high-shot degradation is mainly caused by routing failure, highlighting source-selection calibration as a key bottleneck for scaling in-context generative retrieval.