VoxServe: 음성 언어 모델을 위한 스트리밍 중심 서비스 시스템

VoxServe: Streaming-Centric Serving System for Speech Language Models

최신 음성 언어 모델(SpeechLM)을 스트리밍 환경에 적용하려면 낮은 지연 시간, 높은 처리량, 그리고 안정적인 스트리밍 성능을 제공하는 시스템이 필요합니다. 기존 시스템은 다양한 모델을 유연하고 효율적으로 지원하는 데 한계가 있습니다. 본 논문에서는 음성 언어 모델을 위한 통합 서비스 시스템인 VoxServe를 제안하며, 이는 스트리밍 성능을 최적화합니다. VoxServe는 모델 아키텍처와 시스템 수준 최적화를 분리하는 모델 실행 추상화를 도입하여, 단일 프레임워크 내에서 다양한 음성 언어 모델 아키텍처를 지원합니다. 이러한 추상화를 기반으로, VoxServe는 스트리밍에 적합한 스케줄링과 비동기 추론 파이프라인을 구현하여 전체적인 효율성을 향상시킵니다. 다양한 최신 음성 언어 모델에 대한 실험 결과, VoxServe는 기존 구현 방식보다 10배에서 20배 더 높은 처리량을 제공하며, 비슷한 지연 시간으로 높은 스트리밍 안정성을 유지합니다. VoxServe의 코드는 https://github.com/vox-serve/vox-serve 에서 확인할 수 있습니다.

Deploying modern Speech Language Models (SpeechLMs) in streaming settings requires systems that provide low latency, high throughput, and strong guarantees of streamability. Existing systems fall short of supporting diverse models flexibly and efficiently. We present VoxServe, a unified serving system for SpeechLMs that optimizes streaming performance. VoxServe introduces a model-execution abstraction that decouples model architecture from system-level optimizations, thereby enabling support for diverse SpeechLM architectures within a single framework. Building on this abstraction, VoxServe implements streaming-aware scheduling and an asynchronous inference pipeline to improve end-to-end efficiency. Evaluations across multiple modern SpeechLMs show that VoxServe achieves 10-20x higher throughput than existing implementations at comparable latency while maintaining high streaming viability. The code of VoxServe is available at https://github.com/vox-serve/vox-serve.