답변 존재 여부가 RAG 재작성 성능 향상에 미치는 영향

Answer Presence Drives RAG Rewriting Gains

검색 증강 질의응답(Retrieval-augmented QA) 시스템은 일반적으로 검색된 문맥을 작은 규모의 모델인 '리더(reader)'에게 전달하기 전에, 더 큰 언어모델(LLM) 기반 '재작성기(rewriter)'를 통해 수정하는 과정을 거칩니다. 이 과정에서 F1 점수가 수십 포인트 향상되는 경우가 많으며, 이는 일반적으로 개선된 증거 품질 덕분이라고 여겨집니다. 본 연구에서는 재작성이 성능 향상을 유발하는 주된 요인이 단순히 잘 선별된 문맥인지, 아니면 재작성된 문맥에 포함된 '정답(gold answer)'의 존재 여부가 중요한지 검증하기 위해 통제된 개입 실험을 수행했습니다. 12개의 실험 조건 (모델 종류, 기준선 설정)에서 각 재작성된 문맥에 대해 정답 부분을 제거하거나, 길이와 일치하는 무작위 비답변 부분으로 대체(위약 효과), 또는 정답이 없는 재작성 결과에 정답을 삽입(문장 시작 또는 중간 위치)하는 등 네 가지 방식으로 수정했습니다. 실험은 세 가지 모델 계열 (Qwen2.5-7B, Qwen3.5-35B, GLM-4.7), 두 개의 데이터셋 (HotpotQA, 2WikiMultihopQA), 그리고 세 가지 컴파일러 설정 (MA-only, MB-only, MA+verify)을 사용하여 진행되었습니다. 그 결과, 정답 부분을 제거하면 리더의 F1 점수가 길이 일치하는 비답변 부분으로 대체했을 때보다 28점에서 64점까지 감소했으며, 반대로 정답이 없는 재작성 결과에 정답을 추가하면 12개의 실험 조건 중 10개에서 F1 점수가 0.7점에서 9.7점까지 향상되었습니다. 또한, 기존의 단일 [MASK] 탐지 방식은 자체적으로 불안정하다는 것을 보여주는 추가적인 실험 (five-sentinel audit)을 수행했습니다. 2Wiki 데이터셋에서 이 방법은 +4.12의 '누수되지 않은 잔여' F1 점수를 보고했지만, 네 가지 다른 감시 지표 하에서는 -3.33점에서 -7.81점으로 바뀌었고, 세 가지 경우에 대해 동등성 테스트를 통과하지 못했습니다. 본 연구는 새로운 재작성기나 완화 전략을 제안하는 것이 아니라, 다른 연구자들이 재작성 성능 향상 주장을 동일한 기준으로 검증할 수 있도록 개입 실행 도구와 감시 지표 패널을 공개합니다.

Retrieval-augmented QA pipelines often route retrieved passages through an LLM \emph{rewriter} before a smaller reader, lifting F1 by tens of points on multi-hop benchmarks; this gain is typically credited to improved evidence quality. We ask whether that lift is causally driven by the gold answer string appearing in the rewritten context rather than by curation per se, using a controlled intervention audit. For each rewritten context we re-run the reader after one of four controlled edits to the compile output: removing the gold answer span, replacing a length-matched random non-answer span (placebo), or injecting the gold into rewrites where it was absent (at the prefix or at a midpoint sentence boundary). Across twelve completed (cell, baseline) intervention runs spanning three reader families (Qwen2.5-7B, Qwen3.5-35B, GLM-4.7), two datasets (HotpotQA, 2WikiMultihopQA), and three compiler arrangements (MA-only, MB-only, MA$+$verify), removing the gold answer drops reader F1 by $28$ to $64$ points beyond the length-matched placebo on paired \texttt{answer-in-compile} strata, and prepending the gold into rewrites that lacked it raises F1 by $+0.7$ to $+9.7$ points in $10$ of $12$ (cell, baseline) combinations. A companion five-sentinel audit shows the conventional single-\texttt{[MASK]} probe is itself sentinel-fragile: on 2Wiki it reports a $+4.12$~F1 ``non-leakage residual'' that flips to $-3.33$ to $-7.81$~F1 under four alternative sentinels and fails an equivalence test for three of those four ($1/4$~pass). We do not propose a new rewriter or mitigation; we release the intervention runner and the sentinel panel so that other rewriter-gain claims can be tested against the same standard.