컨텍스트 프롬프트가 절차적 작업의 에이전트 오케스트레이션을 대체하다

In-Context Prompting Obsoletes Agent Orchestration for Procedural Tasks

LangGraph, CrewAI, Google ADK, OpenAI Agents SDK 등 에이전트 오케스트레이션 프레임워크는 LLM 위에 외부 오케스트레이터를 배치하여 상태를 추적하고 모든 단계에서 라우팅 지침을 주입합니다. 본 연구에서는 절차적 작업의 경우, 이러한 아키텍처가 더 간단한 대안인 시스템 프롬프트 내에 전체 절차를 포함하고 모델이 자체적으로 오케스트레이션을 수행하도록 하는 방식에 의해 능가됨을 보여주는 통제된 비교 연구를 제시합니다. 여행 예약(14 노드), Zoom 기술 지원(14 노드), 보험 청구 처리(55 노드)의 세 가지 영역에서 각 조건별로 200개의 대화를 평가했으며, LLM을 활용한 심사 기준에 따라 5가지 품질 기준을 사용했습니다. 컨텍스트 기반 접근 방식은 5점 척도에서 4.53~5.00점을 얻은 반면, 동일한 모델을 사용하는 LangGraph 오케스트레이터는 4.17~4.84점을 얻었습니다. 오케스트레이션 시스템은 여행 관련 대화의 24%, Zoom 관련 대화의 9%, 보험 관련 대화의 17%에서 실패한 반면, 컨텍스트 기반 기준 시스템은 각각 11.5%, 0.5%, 5%에서 실패했습니다. 외부 오케스트레이션은 이전 모델의 경우에 필요했을 수 있지만, 최첨단 모델의 성능 향상으로 인해 정의된 절차를 따르는 다중 턴 대화에서는 더 이상 필요하지 않습니다.

Agent orchestration frameworks -- LangGraph, CrewAI, Google ADK, OpenAI Agents SDK, and others -- place an external orchestrator above the LLM, tracking state and injecting routing instructions at every turn. We present a controlled comparison showing that for procedural tasks, this architecture is dominated by a simpler alternative: putting the entire procedure in the system prompt and letting the model self-orchestrate. Across three domains -- travel booking (14 nodes), Zoom technical support (14 nodes), and insurance claims processing (55 nodes) -- we evaluate 200 conversations per condition using LLM-as-judge scoring on five quality criteria. The in-context approach scores 4.53--5.00 on a 5-point scale while a LangGraph orchestrator using the same model scores 4.17--4.84. The orchestrated system fails on 24% of travel, 9% of Zoom, and 17% of insurance conversations, compared to 11.5%, 0.5%, and 5% for the in-context baseline. While external orchestration may have been necessary for earlier models, advances in frontier model capabilities have made it unnecessary for multi-turn conversations following a defined procedure.