FlashRT: 실시간 멀티모달 애플리케이션 배포를 위한 에이전트 활용 프레임워크

FlashRT: Agent Harness for Guiding Agents to Deploy Real-Time Multimodal Applications

음성 에이전트 및 인터랙티브 비디오 생성과 같은 실시간 멀티모달 애플리케이션은 효율적인 배포를 위해 배치, 스트리밍 및 모델 내부 병렬성에 대한 애플리케이션별 결정을 필요로 하는 다양한 모델을 파이프라인으로 구성합니다. 기존의 서빙 시스템 및 자동 병렬화 컴파일러는 제한된 변환과 고정된 워크로드 가정을 기반으로 하므로, 새로운 애플리케이션에서 높은 성능을 달성하려면 효율적인 구현 방식을 수동으로 설계해야 합니다. 본 논문에서는 FlashRT라는 에이전트 활용 프레임워크를 소개합니다. FlashRT는 코딩 에이전트를 안내하여 간단한 개발자가 작성한 참조 구현체를 최적화된 멀티-GPU 환경으로 전환하며, 지연 시간 및 처리량과 같은 목표 지표를 유연하게 조정할 수 있습니다. 새로운 프로그램 체인(chain-of-program) 패러다임을 사용하여, FlashRT는 일반적인 코딩 에이전트를 여러 단계의 변환 과정을 통해 안내합니다. 이 과정에서 에이전트는 참조 구현체를 중간 표현(IR)으로 변환하여 데이터 의존성과 영구 상태 범위를 파악하고, 순차 인터프리터를 통해 이 IR을 검증하며, 정적 분석을 수행하여 가능한 변환 후보를 식별합니다. 그런 다음, 에이전트는 측정 기반 최적화 루프 내에서 각 후보에 대해 반복적으로 구현, 검증 및 벤치마킹을 수행하여 다양한 하드웨어 환경에서 효과적인 배포를 생성합니다. 비디오 월드 모델 및 멀티모달 LLM과 같은 다양한 애플리케이션에서 FlashRT는 참조 구현체를 고도로 효율적인 배포로 변환하여 NVIDIA B200 GPU에서 최대 약 70배의 지연 시간 감소 및 2.8배의 처리량 향상을 달성했습니다. AMD MI355X GPU에서는 FlashRT가 최고 수준의 지연 시간 감소를 유지하면서 최고 처리량 개선을 3.6배까지 높여, 에이전트 기반 최적화가 전문적인 최적화가 부족한 플랫폼에서 더 확장 가능함을 보여줍니다. 실제로, Qwen3-Omni 텍스트-오디오 추론의 경우 FlashRT는 AMD MI355X GPU에서 전문가 구현인 vLLM-Omni에 비해 응답 지연 시간을 65% 줄였습니다.

Real-time multimodal applications, including voice agents and interactive video generation, compose heterogeneous models into pipelines whose efficient deployment requires application-specific decisions about placement, streaming, and intra-model parallelism. Existing serving systems and auto-parallelism compilers commit to limited transformations and fixed workload assumptions, so achieving high performance on a new application requires hand-crafting an efficient implementation. We present FlashRT, an agent harness that guides coding agents to lift simple developer-written reference implementations into optimized multi-GPU deployments that flexibly weigh target metrics like latency and throughput. Using a new chain-of-program paradigm, FlashRT directs a generic coding agent through a multi-pass transformation process where an agent transforms the reference into an intermediate representation (IR) to capture data dependencies and persistent-state scopes, validates this IR via a sequential interpreter, and performs static analyses to identify candidate transformations. Then, the agent iteratively implements, verifies, and benchmarks each candidate under a measurement-gated optimization loop to produce effective deployments that span different hardware budgets. Across various applications, including video world models and multimodal LLMs, FlashRT converts reference implementations into highly efficient deployments, delivering up to ~70x latency reduction and 2.8x throughput improvement on NVIDIA B200 GPUs. On AMD MI355X GPUs, FlashRT matches the peak latency reduction while increasing peak throughput improvement to 3.6x, demonstrating that agent-driven optimization can be more scalable on platforms with less mature expert optimization. In fact, for Qwen3-Omni text-to-audio inference, FlashRT reduces response latency by 65% compared to the expert vLLM-Omni implementation on AMD MI355X.