기여도 오류 (Attribution Blind Spot): 언어 모델이 검색된 문맥 대신 메모리에 의존하는 시점 감지

The Attribution Blind Spot: Detecting When Language Models Rely on Memory Rather Than Retrieved Context

검색 기반 생성(Retrieval-augmented generation)은 언어 모델의 출력을 외부 증거에 기반하도록 하는 것을 약속하지만, 현재 이 분야에는 검색된 문맥이 실제로 생성을 지배하는지 확인하는 신뢰할 만한 방법이 없습니다. 이는 고위험 배포를 위해서는 필수적인 요소입니다. 일반적으로 문맥과 일관된 출력은 문맥에 의해 생성되었다는 것을 의미한다고 가정하지만, 검색된 문서가 모델의 사전 훈련 데이터와 겹치는 경우 이 가정이 깨집니다. 모델은 매개변수 메모리만으로도 실제와 매우 유사한 텍스트를 생성할 수 있으며, 두 가지 경로 모두에서 동일한 출력이 나타납니다. 우리는 이러한 현상을 '기여도 오류'라고 명명하고, 이를 해결하기 위해 '계산적 현실 모니터링(Computational Reality Monitoring, CRM)'을 소개합니다. CRM은 인지 과학의 현실 모니터링 프레임워크에서 차용한 원리를 활용하여, 문맥이 있는 경우와 없는 경우의 내부 표현을 비교함으로써, 출력 수준에서의 모니터링으로는 감지할 수 없는, 문맥 의존적인 표현의 차이를 발견합니다. CRM은 개별 생성에 어떤 출처가 사용되었는지 인증하는 것이 아니라, 사전 훈련 과정이 측정 가능한 내부 경로의 특징을 남기는지 여부를 감지하여, 출처 추론을 위한 필수적인 기반을 제공합니다. 세 가지 유형의 모델 변종 9개를 대상으로 실험한 결과, 이러한 차이는 아키텍처별 레이어 패턴에 집중적으로 나타나며, 블록 수준의 노이즈 간섭을 통해 일관된 결과를 얻었으며, 다양한 작업 및 데이터셋에서 일반화되는 반면, 도메인과 관련된 벤치마크에서는 사라지는 경향을 보입니다. '기여도 오류'는 측정 가능하며 부분적으로 해결될 수 있습니다. 내부 표현은 출력 수준에서는 보이지 않는 진단 신호를 담고 있으며, 이는 증거의 출처에 대한 내부 인식이 시스템의 외부 행동을 지배하는 시스템을 구축하기 위한 기반을 제공합니다.

Retrieval-augmented generation promises to ground language model outputs in external evidence, yet the field has no reliable way to verify whether retrieved context actually governs generation -- a prerequisite for any high-stakes deployment. The standard assumption, that context-consistent output implies context-governed output, breaks when the retrieved document overlaps with the model's pretraining data: the model can produce faithful-looking text entirely from parametric memory, and both pathways yield indistinguishable output. We name this failure the attribution blind spot and introduce Computational Reality Monitoring (CRM) to address it. CRM operationalizes a principle adapted from cognitive science's reality monitoring framework: comparing internal representations with and without context reveals membership-conditioned representational divergence that output-level monitors systematically miss. CRM does not certify which source an individual generation used; it detects whether pretraining exposure leaves a measurable internal trajectory signature, establishing a necessary substrate for source attribution. Across nine model variants spanning three families, this divergence concentrates in architecture-specific layer patterns, receives converging support from block-level noise intervention, and generalizes across tasks and datasets while collapsing on domain-confounded benchmarks. The attribution blind spot is measurable and partially addressable: internal representations carry a diagnostic signal invisible at the output level, establishing a foundation for systems whose internal awareness of evidence provenance governs their external behavior.