COVENANT: 자연어 워크플로우 컴파일을 통한 일관된 에이전트 실행

COVENANT: Natural-Language Workflow Compilation for Aligned Agent Execution

대규모 언어 모델(LLM) 에이전트는 점점 더 많은 자연어 워크플로우 지침(예: 소매 결제 정책)을 받게 되는데, 이는 달성해야 할 결과뿐만 아니라 허용되는 단계, 분기 및 도구 상호 작용을 명시합니다. 그러나 이러한 지침이 프롬프트 컨텍스트로 제공될 때 모델은 절차 선택과 단계 실행 모두에 대한 제어권을 유지합니다. 상호 작용이 누적됨에 따라 에이전트는 필수 단계를 건너뛰거나 지원되지 않는 분기를 선택하거나 유효한 단계를 지원되지 않는 인수 또는 효과로 실행할 수 있습니다. 우리는 이를 '워크플로우 불일치'라고 부르는 오류 모드입니다. 본 연구에서는 워크플로우 일관성을 갖춘 에이전트 실행을 위한 컴파일러 및 인터프리터 아키텍처인 COVENANT를 제안합니다. 우리의 핵심 아이디어는 워크플로우 지침을 프롬프트가 아닌 소스 프로그램으로 취급하는 것입니다. COVENANT는 이러한 지침을 워크플로우 추상 구문 트리(WAST)로 변환하고 이를 워크플로우 제어 흐름 그래프(WCFG)로 변환합니다. 런타임 시, 컨트롤러는 WCFG의 노드를 하나씩 해석하며, 각 제안이 지침에서 추출된 요구 사항과 일치하는지 확인한 후 컨트롤러 상태를 변경하거나 그래프를 진행하고, 수리 작업을 위한 진단 정보를 반환합니다. COVENANT를 평가하기 위해 세 개의 기존 벤치마크에서 추출한 120개의 사례를 사용하여 7가지 워크플로우 시나리오를 포함했습니다. 최첨단 LLM 에이전트와 비교했을 때, COVENANT는 벤치마크 성공률을 50.00%에서 83.33%로 향상시키고 워크플로우 불일치 오류율을 42.50%에서 15.83%로 감소시켰습니다(62.75% 상대적 감소). 이러한 결과는 COVENANT가 워크플로우 불일치를 크게 완화하여 LLM 에이전트의 정렬을 개별적인 프롬프트 준수를 넘어 복잡하고 다단계 워크플로우의 안정적인 실행으로 발전시킬 수 있음을 보여줍니다.

Large language model (LLM) agents are increasingly entrusted with natural-language workflow instructions (e.g., retail-payment policies) that specify not only what outcome to achieve, but also which steps, branches, and tool interactions are permitted. When these instructions are supplied as prompt context, however, the model retains control over both procedure selection and step execution. As interactions accumulate, an agent can skip required steps, take unsupported branches, or execute a valid step with unsupported arguments or effects--a failure mode we call workflow misalignment. In this work, we propose COVENANT, a compiler-and-interpreter architecture for workflow-aligned agent execution. Our key insight is to treat workflow instructions as source programs rather than prompts. COVENANT converts the instructions into a workflow abstract syntax tree (WAST) and lowers it to a workflow control-flow graph (WCFG). At runtime, a controller interprets the WCFG one node at a time, checks each proposal against requirements extracted from the instructions before committing controller state or advancing the graph, and returns diagnostic feedback for repair. To evaluate COVENANT, we use 120 cases from three existing benchmarks, spanning seven workflow scenarios. Compared with state-of-the-art LLM agents, COVENANT improves benchmark success from 50.00% to 83.33% and reduces the workflow-misalignment failure rate from 42.50% to 15.83% (62.75% relative). These results show that COVENANT substantially mitigates workflow misalignment, moving LLM-agent alignment beyond isolated prompt following toward reliable execution of complex and multi-step workflows.