맥락 인지에서 갈등 인지로: LLM의 지식 충돌을 해결하기 위한 대비 디코딩의 일반화

From Context-Aware to Conflict-Aware: Generalizing Contrastive Decoding for Knowledge Conflict in LLMs

대규모 언어 모델(LLM)이 검색되거나 확장된 맥락으로부터 텍스트를 생성할 때, 외부 맥락과 모델 내부 파라미터 간의 충돌은 여전히 중요한 신뢰성 문제를 야기합니다. 기존의 대비 디코딩 방법들은 '맥락 인지' 패러다임을 따르며, 이는 맥락을 우선시하여 모델의 올바른 판단을 덮어쓰는 경향이 있는데, 특히 맥락이 오류일 경우 문제가 됩니다. 본 연구에서는 이러한 한계를 극복하기 위해 '갈등 인지' 패러다임을 제안합니다. 이 방법은 맥락의 신뢰성을 미리 가정하는 대신, 충돌 신호에 따라 모델의 사전 지식과 맥락 정보 간의 중요도를 동적으로 조정합니다. 우리는 사전 확률(prior)과 맥락 로그it을 선형 결합했을 때 '파워 패밀리'가 형성되며, 이 패밀리는 고유한 '비대칭성'을 가진다는 것을 보여줍니다. 즉, 사전 지식이 정확할 때는 오류를 무한정 증폭시키고, 맥락이 정확할 때는 보정 효과가 부족하며, 어떤 정적인 규칙도 이러한 두 가지 경우를 모두 포괄할 수 없습니다. 기존의 대비 디코딩 방법들은 주로 이 패밀리의 '외삽(extrapolation)'에 해당합니다. 우리는 충돌의 다양한 양상을 평가하기 위해 모델의 특성을 고려한 평가 프로토콜인 TriState-Bench를 제안합니다. 이를 통해 각 모델의 사전 지식을 측정하고, 세 가지 충돌 상태(수정, 저항, 일치)를 분석합니다. 비대칭 문제를 해결하기 위해, 우리는 '적응형 영역 전환(Adaptive Regime Routing, ARR)'을 제안합니다. ARR은 각 단계에서 적절한 영역으로 전환하여, 모델의 저항력을 6에서 16~33 사이로 향상시키면서도 수정 및 일치 능력을 유지합니다. 본 연구의 코드는 다음 GitHub 저장소에서 확인할 수 있습니다: https://github.com/keith-Jiang/conflict-aware-decoding.

When large language models generate from retrieved or augmented contexts, conflicts between external context and parametric priors remain a central reliability bottleneck. Existing contrastive decoding methods follow a \emph{context-aware} paradigm that unilaterally amplifies context over parametric priors, overwriting correct priors when the context is erroneous. We generalize this to the \textbf{conflict-aware} paradigm that dynamically allocates authority between prior and context based on conflict signals, rather than presupposing context trustworthiness. We show that the affine combination of prior and context logits yields a \textbf{power family} with an inherent \textbf{regime asymmetry}: extrapolation amplifies errors unboundedly when the prior is correct, interpolation under-corrects when the context is correct, and no static regime covers both. Existing contrastive decoding methods are instances of this family, mostly extrapolative. To evaluate both conflict directions, we propose TriState-Bench, a model-aware evaluation protocol that calibrates per-model prior knowledge to measure three conflict states: correction, resistance, and agreement. To resolve the asymmetry, we propose Adaptive Regime Routing (ARR), which routes between regimes at each step, lifting resistance EM from below 6 to 16--33 without sacrificing correction or agreement. Our code is available at https://github.com/keith-Jiang/conflict-aware-decoding.