PerfGuard: 시각 콘텐츠 생성을 위한 성능 인식 에이전트

PerfGuard: A Performance-Aware Agent for Visual Content Generation

대규모 언어 모델(LLM) 기반 에이전트의 발전은 추론 및 도구 호출 능력을 통해 자동화된 작업 처리를 가능하게 했습니다. 그러나 기존 프레임워크들은 종종 도구 실행이 언제나 성공한다는 이상적인 가정 하에 작동하며, 정확한 성능 경계를 구분하지 못하고 반복적인 도구 업데이트에 적응할 수 없는 텍스트 설명에만 의존하는 경향이 있습니다. 이러한 한계는 계획 및 실행 단계에서 불확실성을 초래하며, 특히 미묘한 도구 성능이 결과에 중대한 영향을 미치는 시각 콘텐츠 생성(AIGC)과 같은 영역에서 더욱 두드러집니다. 이를 해결하기 위해, 우리는 도구 성능 경계를 체계적으로 모델링하고 이를 작업 계획 및 스케줄링에 통합하는 시각 콘텐츠 생성을 위한 성능 인식 에이전트 프레임워크인 PerfGuard를 제안합니다. 우리 프레임워크는 세 가지 핵심 메커니즘을 도입합니다. (1) 일반적인 도구 설명을 세밀한 성능 평가에 기반한 다차원 점수 시스템으로 대체하는 성능 인식 선택 모델링(PASM), (2) 이론적 순위와 실제 실행 순위를 비교하여 도구 선택을 동적으로 최적화하는 적응형 선호도 업데이트(APU), (3) 계획자가 성능 인식 전략에 부합하는 하위 작업을 생성하도록 유도하는 능력 정렬 계획 최적화(CAPO)입니다. 최신 방법론들과의 실험적 비교를 통해 PerfGuard가 도구 선택 정확도, 실행 신뢰성, 사용자 의도와의 일치성 측면에서 우수함을 입증하였으며, 복잡한 AIGC 작업에 대한 견고성과 실용성을 확인하였습니다. 프로젝트 코드는 https://github.com/FelixChan9527/PerfGuard 에서 확인할 수 있습니다.

The advancement of Large Language Model (LLM)-powered agents has enabled automated task processing through reasoning and tool invocation capabilities. However, existing frameworks often operate under the idealized assumption that tool executions are invariably successful, relying solely on textual descriptions that fail to distinguish precise performance boundaries and cannot adapt to iterative tool updates. This gap introduces uncertainty in planning and execution, particularly in domains like visual content generation (AIGC), where nuanced tool performance significantly impacts outcomes. To address this, we propose PerfGuard, a performance-aware agent framework for visual content generation that systematically models tool performance boundaries and integrates them into task planning and scheduling. Our framework introduces three core mechanisms: (1) Performance-Aware Selection Modeling (PASM), which replaces generic tool descriptions with a multi-dimensional scoring system based on fine-grained performance evaluations; (2) Adaptive Preference Update (APU), which dynamically optimizes tool selection by comparing theoretical rankings with actual execution rankings; and (3) Capability-Aligned Planning Optimization (CAPO), which guides the planner to generate subtasks aligned with performance-aware strategies. Experimental comparisons against state-of-the-art methods demonstrate PerfGuard's advantages in tool selection accuracy, execution reliability, and alignment with user intent, validating its robustness and practical utility for complex AIGC tasks. The project code is available at https://github.com/FelixChan9527/PerfGuard.