VideoAgent: 비디오 이해 및 편집을 위한 통합 프레임워크

VideoAgent: All-in-One Framework for Video Understanding and Editing

비디오 편집은 디지털 미디어 제작에서 필수적인 요소가 되었지만, 기존의 자동화 시스템은 짧은 구간 처리 및 특정 작업에 국한되는 경향이 있습니다. 이러한 시스템은 다음과 같은 두 가지 중요한 한계점을 가지고 있습니다: i) 다양한 비디오 이해 및 편집 작업을 수행할 수 없는 점, 그리고 ii) 일관성 있는 스토리텔링을 위한 장편 비디오 이해 능력의 부족입니다. 본 논문에서는 이러한 과제를 해결하기 위해 설계된 통합 에이전트 프레임워크인 VideoAgent를 제안합니다. 첫째, 우리는 일관성 있는 스토리라인 생성을 위한 샷 계획 에이전트와 정렬된 시각적 콘텐츠 검색을 위한 크로스 모달 검색 기술을 활용한 자동 비디오 샷 생성 기능을 개발했습니다. 둘째, 30개 이상의 전문 편집 에이전트를 통합하는 멀티 에이전트 오케스트레이션 프레임워크를 설계했습니다. 의도 파싱은 관련 도구를 필터링하고, 텍스트 기반 그래디언트 그래프 최적화는 복잡한 편집 파이프라인을 조립합니다. 저희가 새로 제안하는 VideoEdit 벤치마크 및 공개 데이터 세트에 대한 광범위한 실험 결과, VideoAgent는 기존의 멀티모달 LLM 및 에이전트 시스템보다 우수한 성능을 보였습니다. VideoAgent는 87-95%의 오케스트레이션 성공률을 달성했으며, API 비용을 60% 절감했습니다. 6가지 비디오 카테고리에 대한 인간 평가 결과, VideoAgent는 전문가 수준의 고품질 콘텐츠를 생성하며, 이는 사람이 만든 비디오에 비해 4%p 정도 낮은 성능을 보였습니다. 저희 코드는 https://github.com/HKUDS/VideoAgent 에서 확인할 수 있습니다.

Video editing has become essential in digital media creation, yet existing automated systems are restricted to short segment processing and domain-specific tasks. They face two critical limitations: i) inability to handle diverse video comprehension and editing operations, and ii) lack of long-video understanding for coherent narrative creation. We propose VideoAgent, an all-in-one agentic framework addressing these challenges through two key innovations. First, we develop automated video shot creation with shot planning agents for coherent narratives and cross-modal retrieval for aligned visual content. Second, we design a multi-agent orchestration framework integrating over thirty specialized editing agents. Intent parsing filters relevant tools while textual-gradient graph optimization assembles complex editing pipelines. Extensive experiments on our newly-proposed VideoEdit benchmark and public datasets demonstrate VideoAgent's superiority over existing multimodal LLMs and agentic systems. VideoAgent achieves 87-95% orchestration success rates while reducing API costs by 60%. Human evaluation across six video categories shows VideoAgent produces professional-quality content approaching human-level performance, with ratings only 4% below human-created videos. We release our code at https://github.com/HKUDS/VideoAgent.