AgentCgroup: AI 에이전트의 운영체제 자원 이해 및 제어

AgentCgroup: Understanding and Controlling OS Resources of AI Agents

AI 에이전트는 점점 더 다양한 도구 호출을 실행하는 격리된 컨테이너 내에서 멀티 테넌트 클라우드 환경에 배포되고 있으며, 각 호출은 뚜렷한 자원 요구 사항과 급격한 변동을 보입니다. 본 연구에서는 SWE-rebench 벤치마크의 144가지 소프트웨어 엔지니어링 작업과 두 가지 LLM 모델을 사용하여 격리된 AI 코딩 에이전트의 운영체제 수준 자원 동역학을 체계적으로 분석합니다. 우리의 측정 결과는 다음과 같습니다 (1) 운영체제 수준 실행(도구 호출, 컨테이너 및 에이전트 초기화)이 전체 작업 지연 시간의 56-74%를 차지합니다. (2) 병목 현상은 CPU가 아닌 메모리입니다. (3) 메모리 급증은 도구 호출에 의해 발생하며, 최대 피크-평균 비율은 15.4배에 달합니다. (4) 자원 요구 사항은 작업, 실행 및 모델에 따라 매우 예측 불가능합니다. 이러한 특징을 서버리스, 마이크로 서비스 및 배치 워크로드와 비교하여 기존 자원 제어 방식의 세 가지 불일치를 확인했습니다. 즉, 세부 수준의 불일치(컨테이너 수준 정책 vs. 도구 호출 수준 동역학), 응답성 불일치(사용자 공간 반응 vs. 서브초 단위의 예측 불가능한 급증), 그리고 적응성 불일치(과거 기반 예측 vs. 비결정적 상태 실행)입니다. 우리는 에이전트가 필요한 자원을 선언하고 실행 전략을 재구성할 수 있는 능력을 활용하는, 의도 기반의 eBPF 기반 자원 제어 시스템인 AgentCgroup을 제안합니다. AgentCgroup은 도구 호출 경계에 맞춰 구성된 계층적 cgroup 구조, sched_ext 및 memcg_bpf_ops를 통한 커널 내 제어, 그리고 런타임 적응형 정책을 사용합니다. 초기 평가 결과, 멀티 테넌트 격리가 개선되고 자원 낭비가 줄어드는 것을 확인했습니다. AgentCgroup은 https://github.com/eunomia-bpf/agentcgroup 에서 오픈 소스로 제공됩니다.

AI agents are increasingly deployed in multi-tenant cloud environments, where they execute diverse tool calls within sandboxed containers, each call with distinct resource demands and rapid fluctuations. We present a systematic characterization of OS-level resource dynamics in sandboxed AI coding agents, analyzing 144 software engineering tasks from the SWE-rebench benchmark across two LLM models. Our measurements reveal that (1) OS-level execution (tool calls, container and agent initialization) accounts for 56-74% of end-to-end task latency; (2) memory, not CPU, is the concurrency bottleneck; (3) memory spikes are tool-call-driven with a up to 15.4x peak-to-average ratio; and (4) resource demands are highly unpredictable across tasks, runs, and models. Comparing these characteristics against serverless, microservice, and batch workloads, we identify three mismatches in existing resource controls: a granularity mismatch (container-level policies vs. tool-call-level dynamics), a responsiveness mismatch (user-space reaction vs. sub-second unpredictable bursts), and an adaptability mismatch (history-based prediction vs. non-deterministic stateful execution). We propose AgentCgroup, an intent-driven eBPF-based resource controller that exploits agents ability to declare resource needs and reconstruct execution strategies, using hierarchical cgroup structures aligned with tool-call boundaries, in-kernel enforcement via sched_ext and memcg_bpf_ops, and runtime-adaptive policies. Preliminary evaluation demonstrates improved multi-tenant isolation and reduced resource waste. AgentCgroup is open-source at https://github.com/eunomia-bpf/agentcgroup