언제 모델은 생각을 바꿔야 할까? 대규모 언어 모델에서의 맥락적 신념 관리

When Should Models Change Their Minds? Contextual Belief Management in Large Language Models

장기적인 상호작용에서, 언어 모델은 축적되는 정보를 관리해야 합니다: 언제 상태를 업데이트하고, 언제 상태를 유지하며, 무엇을 무시해야 하는지 말입니다. 우리는 이 문제를 **맥락적 신념 관리 (CBM)**라고 정의하며, 이는 공식적인 증거에 부합하는 예측된 신념 상태를 유지하면서 작업과 관련 없는 노이즈를 분리하는 것을 의미합니다. CBM을 측정 가능하게 만들기 위해, 규칙 발견 및 회로 진단을 포괄하는 폐쇄형 벤치마크인 BeliefTrack을 소개합니다. BeliefTrack은 유한한 신념 공간과 심볼릭 검증기를 사용하여 정확한 단계별 평가를 가능하게 합니다. BeliefTrack은 세 가지 유형의 실패 (Failed Stay, Failed Update, Failed Isolation)를 진단합니다. 여러 LLM에서, 기본 모델들은 심각한 CBM 실패를 보이는 반면, 명시적인 신념 추적 프롬프트는 제한적인 성능 향상만을 제공합니다. 이에 비해, 신념 상태에 대한 보상을 사용하는 강화 학습은 평균적으로 70.9%의 실패율 감소를 달성했습니다. 추가적인 분석 결과, 이러한 실패 뒤에는 잠재적인 신념 상태 역학이 존재하며, 표현 수준에서의 제어는 두 가지 작업에서 각각 46.1%의 실패율 감소를 가져왔습니다. (코드: 곧 https://github.com/zjunlp/CBM 에서 공개 예정)

Long-horizon interactions require language models to manage accumulating information: when to update their state, when to preserve their state, and what to ignore. We study this challenge as \textbf{Contextual Belief Management (CBM)}: maintaining a predicted belief state aligned with formal evidence while isolating task-irrelevant noise. To make CBM measurable, we introduce BeliefTrack, a closed-world benchmark spanning Rule Discovery and Circuit Diagnosis, where a finite belief space and symbolic verifiers enable exact turn-level evaluation. BeliefTrack diagnoses three failures: Failed Stay, Failed Update, and Failed Isolation. Across multiple LLMs, vanilla models exhibit severe CBM failures, while explicit belief-tracking prompts provide limited gains. In contrast, reinforcement learning with belief-state rewards reduces failure rates by 70.9\% on average. Further probing reveals latent belief-state dynamics behind these failures, and representation-level steering reduces failure rates by 46.1\% across two tasks\footnote{Code is coming soon at https://github.com/zjunlp/CBM.