위치: 에이전트 기반 AI 오케스트레이션은 베이즈 일관성을 가져야 한다

Position: agentic AI orchestration should be Bayes-consistent

LLM(대규모 언어 모델)은 예측 작업 및 복잡한 추론 작업에서 뛰어난 성능을 보이지만, 많은 고부가가치 애플리케이션은 불확실성 하에서의 의사 결정을 필요로 합니다. 예를 들어, 어떤 도구를 사용할지, 어떤 전문가에게 자문을 구할지, 또는 얼마나 많은 리소스를 투자할지 등이 있습니다. 베이즈 방법론이 LLM 추론에 얼마나 유용한지, 그리고 실제로 적용 가능한지는 아직 명확하지 않지만, 본 논문은 에이전트 기반 AI 시스템의 제어 계층(LLM 및 도구를 오케스트레이션하는 계층)이 베이즈 원리가 빛을 발할 수 있는 명확한 사례라고 주장합니다. 베이즈 의사 결정 이론은 에이전트 시스템이 작업과 관련된 잠재 변수에 대한 믿음을 유지하고, 에이전트와 인간-AI 상호 작용에서 관찰된 데이터를 통해 이러한 믿음을 업데이트하고, 행동을 선택하는 데 도움이 되는 프레임워크를 제공합니다. LLM 자체를 명시적인 베이즈 믿음 업데이트 엔진으로 만드는 것은 일반적인 모델링 목표로서 계산적으로 매우 복잡하고 개념적으로 어렵습니다. 반면, 본 논문은 일관된 의사 결정을 위해서는 LLM 에이전트의 파라미터가 아니라 에이전트 시스템의 오케스트레이션 수준에서 베이즈 원리가 필요하다고 주장합니다. 본 논문은 현대적인 에이전트 기반 AI 시스템 및 인간-AI 협업에 적합한 베이즈 제어의 실질적인 특성을 제시하고, 교정된 믿음과 효용성을 고려한 정책이 에이전트 기반 AI 오케스트레이션을 어떻게 개선할 수 있는지에 대한 구체적인 예시와 설계 패턴을 제공합니다.

LLMs excel at predictive tasks and complex reasoning tasks, but many high-value deployments rely on decisions under uncertainty, for example, which tool to call, which expert to consult, or how many resources to invest. While the usefulness and feasibility of Bayesian approaches remain unclear for LLM inference, this position paper argues that the control layer of an agentic AI system (that orchestrates LLMs and tools) is a clear case where Bayesian principles should shine. Bayesian decision theory provides a framework for agentic systems that can help to maintain beliefs over task-relevant latent quantities, to update these beliefs from observed agentic and human-AI interactions, and to choose actions. Making LLMs themselves explicitly Bayesian belief-updating engines remains computationally intensive and conceptually nontrivial as a general modeling target. In contrast, this paper argues that coherent decision-making requires Bayesian principles at the orchestration level of the agentic system, not necessarily the LLM agent parameters. This paper articulates practical properties for Bayesian control that fit modern agentic AI systems and human-AI collaboration, and provides concrete examples and design patterns to illustrate how calibrated beliefs and utility-aware policies can improve agentic AI orchestration.