CoRect: 문맥 인지 로짓 대비를 통한 숨겨진 상태 교정으로 지식 충돌 해결

CoRect: Context-Aware Logit Contrast for Hidden State Rectification to Resolve Knowledge Conflicts

검색 증강 생성(RAG) 모델은 종종 지식 충돌 문제를 겪는데, 이는 모델 내부의 매개변수 지식이 검색된 증거를 압도하여 부정확한 결과를 초래하는 현상입니다. 기존의 접근 방식은 종종 제한적이며, 표면적인 디코딩 조정이나 정답 레이블이 필요한 가중치 편집에 의존합니다. 층별 분석을 통해, 우리는 이러한 실패의 원인이 매개변수 억제 현상에 있다고 판단했습니다. 구체적으로, 깊은 층에서 특정 피드 포워드 네트워크(FFN) 층이 문맥 정보를 가진 표현을 기억된 사전 정보로 덮어쓰는 것입니다. 이를 해결하기 위해, 우리는 문맥 인지 로짓 대비를 통한 숨겨진 상태 교정 방법인 CoRect를 제안합니다. CoRect는 문맥화된 전달과 문맥화되지 않은 전달로부터의 로짓을 비교하여, 문맥에 대한 편향이 높은 층을 식별하며, 이를 위해 정답 레이블이 필요하지 않습니다. 그런 다음, CoRect는 증거 기반 정보를 유지하기 위해 숨겨진 상태를 교정합니다. 질문 답변(QA) 및 요약 벤치마크에서, CoRect는 강력한 기준 모델보다 일관되게 사실성을 향상시키고 환각 현상을 줄입니다.

Retrieval-Augmented Generation (RAG) often struggles with knowledge conflicts, where model-internal parametric knowledge overrides retrieved evidence, leading to unfaithful outputs. Existing approaches are often limited, relying either on superficial decoding adjustments or weight editing that necessitates ground-truth targets. Through layer-wise analysis, we attribute this failure to a parametric suppression phenomenon: specifically, in deep layers, certain FFN layers overwrite context-sensitive representations with memorized priors. To address this, we propose CoRect (Context-Aware Logit Contrast for Hidden State Rectification). By contrasting logits from contextualized and non-contextualized forward passes, CoRect identifies layers that exhibit high parametric bias without requiring ground-truth labels. It then rectifies the hidden states to preserve evidence-grounded information. Across question answering (QA) and summarization benchmarks, CoRect consistently improves faithfulness and reduces hallucinations compared to strong baselines.