신뢰를 넘어: 생성 모델에서의 추론의 리듬

Beyond Confidence: The Rhythms of Reasoning in Generative Models

대규모 언어 모델(LLM)은 놀라운 능력을 보여주지만, 입력 문맥의 미세한 변화에 민감하여 신뢰성을 저해하는 문제가 있습니다. 정확도 및 퍼플렉시티와 같은 기존의 측정 지표는 로컬 예측의 견고성을 평가하는 데 실패합니다. 왜냐하면 정규화된 출력 확률은 LLM의 내부 상태가 변화에 얼마나 강건하게 반응하는지, 즉 LLM의 내부 상태의 회복 탄력성을 가리는 경향이 있기 때문입니다. 본 연구에서는 LLM이 예측 변화를 일으키기 전에 견딜 수 있는 최대 내부 상태 변화를 정량화하는 새로운 지표인 토큰 제약 경계 ($δ_{ ext{TCB}}$)를 소개합니다. $δ_{ ext{TCB}}$는 출력 임베딩 공간의 기하학적 구조와 밀접하게 관련되어 있으며, 모델의 내부 예측 안정성에 대한 통찰력을 제공합니다. 우리의 실험 결과는 $δ_{ ext{TCB}}$가 효과적인 프롬프트 엔지니어링과 관련이 있으며, 컨텍스트 학습 및 텍스트 생성 과정에서 퍼플렉시티가 놓치는 중요한 예측 불안정성을 발견한다는 것을 보여줍니다. $δ_{ ext{TCB}}$는 LLM 예측의 문맥적 안정성을 분석하고 잠재적으로 개선하기 위한 체계적이고 상호 보완적인 접근 방식을 제공합니다.

Large Language Models (LLMs) exhibit impressive capabilities yet suffer from sensitivity to slight input context variations, hampering reliability. Conventional metrics like accuracy and perplexity fail to assess local prediction robustness, as normalized output probabilities can obscure the underlying resilience of an LLM's internal state to perturbations. We introduce the Token Constraint Bound ($δ_{\mathrm{TCB}}$), a novel metric that quantifies the maximum internal state perturbation an LLM can withstand before its dominant next-token prediction significantly changes. Intrinsically linked to output embedding space geometry, $δ_{\mathrm{TCB}}$ provides insights into the stability of the model's internal predictive commitment. Our experiments show $δ_{\mathrm{TCB}}$ correlates with effective prompt engineering and uncovers critical prediction instabilities missed by perplexity during in-context learning and text generation. $δ_{\mathrm{TCB}}$ offers a principled, complementary approach to analyze and potentially improve the contextual stability of LLM predictions.