DUD: 분리된 업데이트 동역학을 통한 대규모 언어 모델의 신뢰성 있는 불확실성 정량화

DUD: Decoupled Update Dynamics for Reliable Uncertainty Quantification in Large Language Models

대규모 언어 모델(LLM)의 안정적인 활용을 위해서는 정확한 불확실성 정량화(UQ)가 필수적이지만, 기존의 확률 기반 지표는 종종 모델의 실제 인식 상태를 제대로 반영하지 못합니다. 최근의 기계적 접근 방식은 숨겨진 상태 동역학을 활용하지만, 일반적으로 잔차 스트림 업데이트를 집계하여 파라미터 메모리(Feed-Forward Network)와 문맥 처리(Attention)의 구별되는 역할을 혼동합니다. 우리는 이러한 집계가 메모리와 문맥 간 불일치와 같이 불확실성의 근본적인 지표인 미세한 기계적 충돌을 가려준다고 주장합니다. 이를 해결하기 위해, 노이즈 유도 인과적 개입을 통해 FFN과 Attention의 기여도를 명시적으로 분리하는 프레임워크인 **D**ecoupled **U**pdate **D**ynamics (**DUD**)를 소개합니다. 각 모듈의 독립적인 복구 능력을 정량화함으로써, 모델의 내부적 취약성을 나타내는 이중 스트림 동적 프로필을 구축합니다. 광범위한 실험 결과는 DUD가 불확실성 추정과 교정 모두에서 최첨단 기준 성능을 크게 능가하며, 뛰어난 데이터셋 간 일반화 성능을 보여줌으로써 분리된 동역학이 모델의 신뢰성을 나타내는 강력한 지표임을 입증합니다.

Accurate Uncertainty Quantification (UQ) is critical for reliable deployment of Large Language Models (LLMs), yet traditional probability-based metrics often fail to capture the model's true epistemic state. While recent mechanistic approaches leverage hidden state dynamics, they typically aggregate residual stream updates, conflating the distinct roles of parametric memory (Feed-Forward Networks) and contextual processing (Attention). We argue that this aggregation obscures fine-grained mechanistic conflicts, such as memory-context misalignment, that are fundamental indicators of uncertainty. To address this, we introduce \textbf{D}ecoupled \textbf{U}pdate \textbf{D}ynamics \textbf{(DUD)}, a framework that explicitly decouples FFN and Attention contributions via noise-induced causal interventions. By quantifying the independent restoration capabilities of each module, we construct a dual-stream dynamic profile that captures the model's internal fragility. Extensive experiments demonstrate that DUD significantly outperforms state-of-the-art baselines in both uncertainty estimation and calibration, while exhibiting superior cross-dataset generalization, validating decoupled dynamics as a robust proxy for model faithfulness.