PerfGuard: 시각 콘텐츠 생성에 특화된 성능 기반 에이전트

PerfGuard: A Performance-Aware Agent for Visual Content Generation

대규모 언어 모델(LLM) 기반 에이전트의 발전은 추론 및 도구 호출 능력을 통해 자동화된 작업 처리를 가능하게 했습니다. 그러나 기존 프레임워크는 도구 실행이 항상 성공한다는 이상적인 가정을 기반으로 작동하며, 정교한 성능 경계를 구별하지 못하고 반복적인 도구 업데이트에 적응할 수 없는 텍스트 설명에만 의존합니다. 이러한 간극은 계획 및 실행 과정에서 불확실성을 야기하며, 특히 시각 콘텐츠 생성(AIGC)과 같은 분야에서 도구의 미묘한 성능 차이가 결과에 큰 영향을 미칩니다. 이러한 문제를 해결하기 위해, 우리는 시각 콘텐츠 생성에 특화된 성능 기반 에이전트 프레임워크인 PerfGuard를 제안합니다. PerfGuard는 도구의 성능 경계를 체계적으로 모델링하고, 이를 작업 계획 및 일정에 통합합니다. 본 프레임워크는 다음 세 가지 핵심 메커니즘을 도입합니다. (1) 성능 기반 선택 모델링(PASM): 일반적인 도구 설명을 정밀한 성능 평가를 기반으로 하는 다차원 점수 시스템으로 대체합니다. (2) 적응적 선호도 업데이트(APU): 이론적 순위와 실제 실행 순위를 비교하여 도구 선택을 동적으로 최적화합니다. (3) 역량 정렬 계획 최적화(CAPO): 계획기가 성능을 고려한 전략에 맞춰 하위 작업을 생성하도록 안내합니다. 최첨단 방법과의 실험 비교 결과, PerfGuard는 도구 선택 정확도, 실행 안정성 및 사용자 의도와의 일관성 측면에서 우수한 성능을 보이며, 복잡한 AIGC 작업에 대한 견고성과 실용성을 입증합니다. 프로젝트 코드는 https://github.com/FelixChan9527/PerfGuard 에서 확인할 수 있습니다.

The advancement of Large Language Model (LLM)-powered agents has enabled automated task processing through reasoning and tool invocation capabilities. However, existing frameworks often operate under the idealized assumption that tool executions are invariably successful, relying solely on textual descriptions that fail to distinguish precise performance boundaries and cannot adapt to iterative tool updates. This gap introduces uncertainty in planning and execution, particularly in domains like visual content generation (AIGC), where nuanced tool performance significantly impacts outcomes. To address this, we propose PerfGuard, a performance-aware agent framework for visual content generation that systematically models tool performance boundaries and integrates them into task planning and scheduling. Our framework introduces three core mechanisms: (1) Performance-Aware Selection Modeling (PASM), which replaces generic tool descriptions with a multi-dimensional scoring system based on fine-grained performance evaluations; (2) Adaptive Preference Update (APU), which dynamically optimizes tool selection by comparing theoretical rankings with actual execution rankings; and (3) Capability-Aligned Planning Optimization (CAPO), which guides the planner to generate subtasks aligned with performance-aware strategies. Experimental comparisons against state-of-the-art methods demonstrate PerfGuard's advantages in tool selection accuracy, execution reliability, and alignment with user intent, validating its robustness and practical utility for complex AIGC tasks. The project code is available at https://github.com/FelixChan9527/PerfGuard.