에이전트 기반 AI 워크플로우의 아키텍처적 함의

Architectural Implications of Agentic AI Workflows

에이전트 기반 인공지능은 데이터센터에서 부상하고 있지만, 그 아키텍처적 함의는 아직 탐구되지 않았습니다. 본 연구에서는 에이전트 기반 워크플로우를 분류 체계로 정리하고, 마이크로소프트 애저에서의 실제 운영 환경 분석 및 오픈 소스 프레임워크에 대한 통제된 실험을 통해 최초의 아키텍처적 특성을 제시합니다. 연구 결과, 에이전트 실행은 단편화되고 이질적인 것으로 나타났습니다. 요청은 LLM 추론, 도구 호출 및 오케스트레이션 결정으로 구성된 워크플로우로 확장되며, 이 과정에서 CPU-GPU 경계를 반복적으로 넘나듭니다. 본 연구의 분류 체계는 이러한 단편화가 어떻게 리소스 수요로 이어지는지 설명합니다. 오케스트레이션 및 도구가 호스트에서 실행되므로, CPU가 중요한 경로에 위치합니다. 실행 구조는 시간에 따른 부하를 결정하며, 일반적으로 낮은 수준을 유지하지만 순간적인 급증이 발생합니다. 모델 조합은 워크플로우가 GPU를 얼마나 균등하게 사용하는지 결정합니다. 작업 및 도구의 다양성은 이러한 범위를 더욱 넓힙니다. 이러한 특징들은 기존의 균일한 서버 아키텍처와의 불일치를 드러냅니다. 단편화된 실행은 CPU와 GPU 용량을 분리시키지만, 오히려 급증하는 수요에는 부합하지 않습니다. 다양한 소프트웨어 역할로 인해 동일한 CPU 프로비저닝이 비효율적입니다. 또한, 여러 에이전트를 공유 코어에 멀티플렉싱하면 마이크로 아키텍처 수준의 성능 저하가 발생합니다. 본 연구 결과를 바탕으로, 우리는 에이전트 기반 서버에 대한 함의를 도출하고, 프로토타입 시스템인 Agora를 통해 이를 검증했습니다. Agora는 일반적인 서버에서 유휴 CPU 코어를 동적으로 활용하여 처리량을 높이는 동시에, 도구 사용으로 인한 지연 시간을 최소화합니다. 또한, GPU 메모리를 과도하게 할당하여 각 GPU에 더 많은 에이전트를 배치하고, 다음 에이전트의 상태를 미리 가져와 스왑 지연을 숨깁니다. Agora는 다양한 역할에 따라 코어를 풀링하고, 친화성(affinity)을 고려한 스케줄링을 적용하여 로컬리티를 복원합니다. 또한, 워크로드에 맞춰 자동으로 메커니즘을 조정합니다. Agora는 활용률과 서버 처리량을 향상시키면서도 에이전트의 지연 시간을 유지합니다. 본 연구의 결과는 에이전트 기반 AI를 위한 미래 서버 아키텍처의 중요한 방향성을 제시합니다.

Agentic AI is emerging in datacenters, but its architectural implications remain unexplored. We organize agentic workflows in a taxonomy and present its first architectural characterization with a production study at Microsoft Azure and a controlled study of open-source frameworks. We show that agentic execution is fragmented and heterogeneous. Requests expand into a workflow of LLM inferences, tool invocations, and orchestration decisions that repeatedly cross the CPU-GPU boundary. Our taxonomy explains how this fragmentation turns into resource demand. As orchestration and tools run on the host, the CPU sits on the critical path. Execution structure sets the load over time, which stays low with sudden spikes. Model composition sets how evenly the workflow uses the GPUs. Diversity in tasks and tools widens this range even further. These characteristics expose architectural mismatches of conventional uniform servers. Fragmented execution strands CPU and GPU capacity despite bursty demand. Different software roles make homogeneous CPU provisioning inefficient. Finally, multiplexing many agents onto shared cores degrades microarchitectural locality. Guided by our findings, we derive implications for agentic servers and examine them through Agora, our prototype for commodity servers. Agora dynamically harvests idle CPU cores for co-located throughput work, while protecting agentic tail latency against tool spikes. It oversubscribes GPU memory by placing more agents on each GPU, prefetching the next agent's state to hide swap latency. To match the machine to the heterogeneous roles, Agora pools cores by role and applies affinity-aware scheduling to restore locality. It automatically tunes mechanisms to the workload. Agora improves utilization and server throughput while preserving agent tail latency. Our insights also identify key directions for future server architectures for agentic AI.