신뢰할 수 없는 파라미터 및 문맥 지식 탐색: LLM 추론을 위한 명시적 지식 충돌 해결

Navigating Unreliable Parametric and Contextual Knowledge: Explicit Knowledge Conflict Resolution for LLM Inference

대규모 언어 모델(LLM)은 광범위한 언어 기반 작업에서 강력한 성능을 달성했으며, 이는 방대한 파라미터 지식을 활용하고 입력 프롬프트에 제공된 외부 정보를 통합할 수 있는 문맥 학습 능력을 통해 가능합니다. 그러나 외부 지식의 통합은 모델 내부의 파라미터 지식과 외부 정보 간뿐만 아니라 여러 개의 외부 문맥 간에도 충돌을 야기할 수 있습니다. 기존 접근 방식은 일반적으로 모델 또는 제공된 문맥 중 하나가 신뢰할 수 있다고 가정하며, 양쪽 모두 오류를 포함할 가능성을 간과하고, 한 쪽 정보를 우선시하여 충돌을 회피합니다. 이러한 제한 사항을 해결하기 위해, 우리는 LLM 지식 충돌 해결을 위한 새로운 프레임워크인 MACR을 제안합니다. 이 프레임워크는 기존의 단순한 이분법적 선택 방식을 넘어, 다중 에이전트 추론 기반의 명시적인 충돌 해결 메커니즘을 통합합니다. 구체적으로, 우리는 먼저 LLM이 주어진 질문에 대한 답변에 얼마나 확신하는지를 정량화하기 위해 수정된 의미론적 엔트로피 측정 방법을 사용하는 적응형 지식 평가 및 검색 접근 방식을 제안합니다. 이 신뢰도 추정치를 기반으로, MACR은 모델의 내부 지식을 텍스트 표현으로 외부화하거나, 내부 지식이 부족한 경우 관련 외부 지식을 검색하여 후속 추론을 위한 기본 문맥을 생성합니다. 또한, 우리는 세 개의 전문 에이전트로 구성된 유도적 다중 에이전트 추론 프레임워크를 도입합니다. 이 에이전트는 각각 명시적인 규칙을 유도하고, 잠재적인 충돌을 분석하며, 사용 가능한 모든 문맥 간의 불일치를 해결합니다. 실험 결과는 MACR이 기존 최고 성능 모델보다 현저히 우수한 성능을 보이며, 동시에 명시적인 충돌에 대한 해석 가능 솔루션을 제공한다는 것을 보여줍니다.

Large language models (LLMs) have achieved strong performance across a wide range of language-based tasks by leveraging both extensive parametric knowledge and in-context learning ability, enabling them to incorporate external information provided in the input prompt. However, the integration of external knowledge can introduce conflicts, not only between the model's internal parametric knowledge and the external information, but also among multiple pieces of external contexts. Existing approaches typically assume that either the model or the provided context is reliable, overlooking the possibility that both sources may contain errors, and avoid conflicts by privileging one source over the other, rather than actively resolving inconsistencies. To address these limitations, we propose a novel framework MACR for LLM knowledge conflict resolution that moves beyond the conventional binary choice paradigm and incorporates an explicit conflict-resolution mechanism based on a multi-agent reasoning approach. Specifically, we first propose an adaptive knowledge assessment and retrieval approach that employs a modified semantic entropy measure to quantify an LLM's confidence in its answer to a given query. Based on this confidence estimation, MACR either externalizes the model's internal knowledge as textual representations or retrieves relevant external knowledge when internal knowledge is insufficient, generating basic contexts for subsequent reasoning. Then we introduce an inductive multi-agent reasoning framework with three specialized agents that, respectively, induce explicit rules, analyze potential conflicts, and resolve inconsistencies across all available contexts. Empirical results demonstrate that MACR significantly outperforms state-of-the-art baselines across benchmarks, while also providing interpretable resolutions of explicit conflicts.