LLM 기반 시스템에서의 불확실성 전파

Uncertainty Propagation in LLM-Based Systems

대규모 언어 모델(LLM) 기반 시스템에서 불확실성은 종종 단일 모델 출력 수준에서 연구되지만, 실제 LLM 애플리케이션은 불확실성이 모델 내부, 워크플로우 단계, 구성 요소 경계, 지속적인 상태 및 인간 또는 조직 프로세스 전반에 걸쳐 변환되고 재사용되는 복합 시스템입니다. 이러한 경계를 넘어 불확실성이 어떻게 전파되고 재사용되는지에 대한 체계적인 분석 없이, 초기 오류는 탐지하고 제어하기 어려운 방식으로 전파되고 증폭될 수 있습니다. 본 논문은 시스템 수준에서 불확실성 전파에 대한 분석을 제시합니다. 본 논문은 전파된 불확실성 신호를 특징짓기 위한 개념적 프레임워크를 소개하고, 모델 내부(P1), 시스템 수준(P2) 및 사회 기술(P3) 전파 메커니즘을 포괄하는 체계적인 분류 체계를 제시하며, 다양한 엔지니어링 통찰력을 종합하고, 다섯 가지의 미해결 연구 과제를 제시합니다.

Uncertainty in large language model (LLM)-based systems is often studied at the level of a single model output, yet deployed LLM applications are compound systems in which uncertainty is transformed and reused across model internals, workflow stages, component boundaries, persistent state, and human or organisational processes. Without principled treatment of how uncertainty is carried and reused across these boundaries, early errors can propagate and compound in ways that are difficult to detect and govern. This paper develops a systems-level account of uncertainty propagation. It introduces a conceptual framing for characterising propagated uncertainty signals, presents a structured taxonomy spanning intra-model (P1), system-level (P2), and socio-technical (P3) propagation mechanisms, synthesises cross-cutting engineering insights, and identifies five open research challenges.