ServerlessT2I: 서버리스 플랫폼 기반의 효율적인 텍스트-이미지 워크플로우 서비스

ServerlessT2I: Efficient Text-to-Image Workflow Serving on a Serverless Platform

텍스트-이미지(T2I) 워크플로우는 사용자가 맞춤형 워크플로우를 구성하고 간헐적으로 호출하는 경우가 많기 때문에, 점점 더 많은 서버리스 플랫폼에서 활용되고 있습니다. 기존 플랫폼은 일반적으로 각 워크플로우를 불투명한 GPU 함수로 배포하며, 이 과정에서 워크플로우를 구성하는 모든 모델을 함께 프로비저닝, 배치 및 확장합니다. 이러한 통합적인 설계는 워크플로우 구조를 가리고, 확장 오버헤드를 증가시키며, 사용자가 저수준의 GPU 연동을 관리하도록 강제하고, 멀티 테넌트 클러스터 내에서의 세밀한 공정성을 제한하는 문제가 있습니다. 본 논문에서는 ServerlessT2I라는 서버리스 환경에 최적화된 시스템을 제시합니다. ServerlessT2I는 T2I 워크플로우를 독립적으로 관리 및 스케줄링될 수 있는 느슨하게 결합된 모델 함수로 분해합니다. ServerlessT2I는 개별 모델 실행을 명시적으로 관리함으로써, 모델 단위의 확장, 선언적인 워크플로우 구성, 투명한 GPU 내 통신, 그리고 공정성을 고려한 스케줄링을 가능하게 합니다. 이러한 분해를 효율적으로 수행하기 위해, ServerlessT2I는 계산에 제약받는 T2I 추론 과정에서 남는 유휴 GPU 메모리를 활용하여 데이터 평면을 구축하고, 모델 로딩 및 데이터 통신 오버헤드를 줄입니다. 또한, ServerlessT2I는 멀티 테넌트 환경에서의 공정한 서비스를 위한 스케줄러를 추가로 제공합니다. 실제 운영 환경의 데이터를 기반으로 실험한 결과, ServerlessT2I는 동일한 GPU 리소스를 사용할 때 기존 T2I 워크플로우 서비스 시스템보다 최대 2배 더 높은 요청 처리율을 달성했으며, 고정된 요청 처리율에서 최대 3배 더 적은 GPU 리소스를 사용하면서도 서비스 수준 목표(SLO)를 만족시켰습니다.

Text-to-image (T2I) workflows are increasingly deployed on serverless platforms because users often compose customized workflows and invoke them intermittently. Existing platforms typically deploy each workflow as an opaque GPU function, provisioning, placing, and scaling all constituent models in the workflow together. This monolithic design obscures workflow structure, inflates scaling overhead, forces users to manage low-level GPU coordination, and limits fine-grained fairness in multi-tenant clusters. In this paper, we present ServerlessT2I, a serverless-native system that decomposes a T2I workflow into loosely coupled model functions that can be independently managed and scheduled. By explicitly managing individual model execution, ServerlessT2I enables per-model scaling, declarative workflow composition, transparent GPU-resident communication, and fairness-aware scheduling. To make this decomposition efficient, ServerlessT2I harvests slack GPU memory left idle by compute-bound T2I inference to build a data plane that reduces model loading and data communication overheads. \sys{} further introduces a fair scheduler for multi-tenant serving. Using production traces, ServerlessT2I sustains up to 2$\times$ higher request rates than existing T2I workflow serving systems with the same GPU budget; for a fixed request rate, it saves up to 3$\times$ GPU resources while satisfying service level objectives (SLOs).