Vortex: AI 에이전트를 위한 효율적이고 프로그래밍 가능한 희소 어텐션 서빙 시스템

Vortex: Efficient and Programmable Sparse Attention Serving for AI Agents

희소 어텐션은 생성 길이가 계속 증가함에 따라 대규모 언어 모델(LLM) 서빙에서 점점 더 중요해지고 있습니다. 그러나 새로운 희소 어텐션 알고리즘을 대규모로 배포하고 평가하는 것은 여전히 많은 엔지니어링 노력을 필요로 하며, 이는 인간 연구자와 AI 에이전트 모두가 희소 어텐션 설계를 탐구하는 속도를 늦춥니다. 이러한 문제에 대응하기 위해, 저희는 Python 기반 프론트엔드 언어와 페이지 중심의 텐서 추상화를 결합하여 다양한 희소 어텐션 알고리즘을 표현할 수 있는 시스템인 Vortex를 제안합니다. Vortex는 최신 LLM 서빙 스택과 긴밀하게 통합된 효율적인 백엔드를 갖추고 있습니다. Vortex는 희소 어텐션 알고리즘의 신속한 프로토타입 제작, 배포 및 평가를 가능하게 하며, 이론적 효율성 향상을 실제 처리량 개선으로 효과적으로 전환합니다. 결과적으로, Vortex는 희소 어텐션 알고리즘의 설계 및 반복 과정을 크게 가속화합니다. 첫째, AI 에이전트는 Vortex를 사용하여 다양한 알고리즘을 자동으로 생성하고 개선하며, 최상의 알고리즘은 전체 어텐션보다 최대 3.46배 더 높은 처리량을 달성하면서도 정확도를 유지합니다. 둘째, Vortex는 기존 아키텍처 및 실험하기 어려운 매우 큰 모델로 희소 어텐션을 확장하여, NVIDIA B200 GPU에서 MLA 기반 GLM-4.7-Flash 모델의 경우 최대 4.7배 더 높은 처리량, 그리고 229B 파라미터 MiniMax-M2.7 모델의 경우 1.37배 더 높은 처리량을 달성했습니다.

Sparse attention is becoming increasingly important for serving large language models (LLMs) as generation lengths continue to grow. However, deploying and evaluating new sparse attention algorithms at scale remains highly engineering-intensive, slowing both human researchers and AI agents in exploring the sparse attention design. To address this challenge, we present Vortex, a system that combines a Python-embedded frontend language atop a page-centric tensor abstraction for expressing a broad range of sparse attention algorithms, with an efficient backend tightly integrated into modern LLM serving stacks. Vortex enables rapid prototyping, deployment, and evaluation of sparse attention algorithms, effectively translating their theoretical efficiency gains into real-world throughput improvements. As a result, Vortex substantially accelerates the design and iteration of sparse attention algorithms. First, AI agents use Vortex to automatically generate and refine diverse algorithms, the best reaching up to $3.46\times$ higher throughput than full attention while preserving accuracy. Second, Vortex extends sparse attention to emerging architectures and very large models that are otherwise hard to experiment with, reaching up to $4.7\times$ higher throughput on the MLA-based GLM-4.7-Flash and $1.37\times$ on the 229B-parameter MiniMax-M2.7 on NVIDIA B200 GPUs.