SparseDitto: LLM 기반 에이전트 시스템을 활용한 다양한 희소 패턴에 대한 GPU 커널 맞춤화

SparseDitto: Customizing GPU Kernels for Different Sparsity Patterns with LLM-Based Agentic System

희소 행렬 연산은 과학 계산, 그래프 분석 및 머신러닝에서 중요한 역할을 합니다. 이들의 GPU 성능은 입력 희소 패턴과 실행 전략에 크게 의존합니다. 동일한 행렬에서의 SpMM 연산 시, cuSPARSE는 CSR 방식과 Blocked-ELL 방식 간에 최대 350배의 성능 차이를 보입니다. 다양한 데이터 형식, 특수 시스템 및 희소 컴파일러에 대한 연구 결과, 어떤 단일 구현 방식도 모든 희소 패턴과 연산자에 대해 일관되게 우수한 성능을 보이는 것은 아닙니다. 이러한 문제를 해결하기 위해, 본 연구에서는 각 워크로드와 대상 GPU에 맞춰 표현 방식, 실행 전략 및 하드웨어 매핑을 적응적으로 조정할 수 있는 시스템을 제안합니다. 본 논문에서는 LLM 기반 시스템인 SparseDitto를 소개합니다. SparseDitto는 각 행렬, 연산자 및 대상 GPU에 대한 GPU 커널을 생성합니다. SparseDitto는 통일된 설계 프레임워크 내에서 SpMV, SpMM 및 SpGEMM 연산을 지원합니다. 경량화된 추가 모델은 입력 행렬의 구조적 특징을 사용하여 기존 전략들을 순위를 매깁니다. 아키텍처 인식을 가진 계획기는 여러 후보 설계를 제안하고, 코딩 및 검증 에이전트는 대상 GPU에서 얻은 측정값을 기반으로 이러한 설계들을 구현하고 개선합니다. 세 가지 희소 연산자와 다양한 행렬 집합에 대해 SparseDitto는 NVIDIA RTX PRO 6000 GPU에서 cuSPARSE보다 평균 2.68배의 속도 향상을 달성했으며, 최대 146.61배의 성능 향상을 보였습니다. NVIDIA H200 GPU에서는 2.79배의 속도 향상을 달성했으며, 최대 78.5배의 성능 향상을 보였습니다. 또한, SparseDitto가 생성한 SpMM 커널은 전체 배치 GCN 학습을 최대 3.39배까지 가속화합니다.

Sparse matrix kernels are fundamental to scientific computing, graph analytics, and machine learning. Their GPU performance depends strongly on the input sparsity pattern and execution strategy. For the same SpMM on the same matrix, cuSPARSE exhibits a 350x performance gap between CSR and Blocked-ELL. Our study of multiple data formats, specialized systems, and sparse compilers shows that no single implementation consistently dominates across sparsity patterns and operators. This motivates a system that can adapt its representation, execution strategy, and hardware mapping to each workload and target GPU. We present SparseDitto, an LLM-based system that constructs a GPU kernel for each matrix, operator, and target GPU. SparseDitto supports SpMV, SpMM, and SpGEMM within a unified design framework. A lightweight additive model ranks established strategies using structural features of the input matrix. An architecture-aware planner then proposes several candidate designs. Coding and verification agents implement and refine them using measurements from the target GPU. Across three sparse operators and a diverse set of matrices, SparseDitto achieves a geometric-mean speedup of 2.68x over cuSPARSE on an NVIDIA RTX PRO 6000 GPU, with a maximum of 146.61x. On an NVIDIA H200 GPU, it achieves 2.79x, with a maximum of 78.5x. Its generated SpMM kernels also accelerate full-batch GCN training by up to 3.39x.