VibeServe: AI 에이전트가 맞춤형 LLM 서비스 시스템을 구축할 수 있을까?

VibeServe: Can AI Agents Build Bespoke LLM Serving Systems?

오랫동안 우리는 LLM 서비스 시스템을 다른 중요한 인프라와 같이 구축해 왔습니다. 이는 수많은 엔지니어의 노력을 통해 조정된 단일의 범용 스택으로, 모든 모델과 워크로드를 지원하도록 설계되었습니다. 본 논문에서는 정반대의 접근 방식을 취합니다. 즉, 다양한 사용 시나리오에 맞는 맞춤형 서비스 시스템을 자동으로 생성하는 멀티 에이전트 루프를 사용하는 것입니다. 우리는 VibeServe를 제안합니다. VibeServe는 전체 LLM 서비스 스택을 처음부터 끝까지 생성하는 최초의 에이전트 기반 루프입니다. VibeServe는 시스템 설계에 대한 검색을 계획하고 추적하는 외부 루프와, 후보를 구현하고 정확성을 확인하며 대상 벤치마크에서 성능을 측정하는 내부 루프를 사용합니다. 기존 스택이 고도로 최적화된 표준 배포 환경에서 VibeServe는 vLLM과 경쟁력을 유지하며, 생성 시점의 전문화가 성능 저하를 초래하지 않아도 된다는 것을 보여줍니다. 더욱 흥미로운 점은, 표준이 아닌 시나리오에서 VibeServe는 비표준 모델 아키텍처, 워크로드 지식 및 하드웨어 특정 최적화를 활용하여 기존 시스템보다 우수한 성능을 발휘한다는 것입니다. 이러한 결과는 인프라 소프트웨어 설계 공간에 대한 다른 관점을 제시합니다. 즉, 런타임의 일반성보다는 생성 시점의 전문화가 더 중요하다는 것입니다. 코드 및 관련 자료는 https://github.com/uw-syfi/vibe-serve 에서 확인할 수 있습니다.

For years, we have built LLM serving systems like any other critical infrastructure: a single general-purpose stack, hand-tuned over many engineer-years, meant to support every model and workload. In this paper, we take the opposite bet: a multi-agent loop that automatically synthesizes bespoke serving systems for different usage scenarios. We propose VibeServe, the first agentic loop that generates entire LLM serving stacks end-to-end. VibeServe uses an outer loop to plan and track the search over system designs, and an inner loop to implement candidates, check correctness, and measure performance on the target benchmark. In the standard deployment setting, where existing stacks are highly optimized, VibeServe remains competitive with vLLM, showing that generation-time specialization need not come at the cost of performance. More interestingly, in non-standard scenarios, VibeServe outperforms existing systems by exploiting opportunities that generic systems miss in six scenarios involving non-standard model architectures, workload knowledge, and hardware-specific optimizations. Together, these results suggest a different point in the design space for infrastructure software: generation-time specialization rather than runtime generality. Code is available at https://github.com/uw-syfi/vibe-serve.