LLM 기반 GPU 커널 생성에 필요한 엔지니어링: LLM을 활용한 GPU 커널 생성

Harness Engineering for LLM-Driven GPU Kernel Generation

대규모 언어 모델(LLM)은 GPU 커널 생성을 지원할 수 있지만, 생성된 코드의 실질적인 효과는 해당 코드가 안정적으로 제약되고 검증되며 프로파일링되고 선택될 수 있는지에 달려 있습니다. 본 논문에서는 NVIDIA Blackwell B200 GPU에서 진행되는 MLSys 2026 FlashInfer AI 커널 생성 대회에서 LLM 기반 GPU 커널 최적화를 위한 하니스 중심 시스템을 제시합니다. 이 시스템은 평가 하니스와 프로파일링 기반 최적화 컨트롤러로 구성됩니다. 하니스는 컴파일, 정확성, 공식 표준과의 일관성 확보 및 성능 측정, 결과 저장 등의 역할을 수행하며, 컨트롤러는 프로파일러 데이터와 워크로드 정보를 바탕으로 최적화 후보 생성 결정을 내립니다. 사람의 전문 지식을 활용하여 연산자 제약 조건, 레퍼런스, 프로파일링 절차 및 승격 규칙을 정의하고, Codex 및 Claude Code 에이전트가 이러한 제약 조건 내에서 커널 후보를 생성합니다. 다섯 가지 연산자에 대해 공식 표준과 일관성을 유지하는 결과물은 각각 1.62배, 18.05배, 29.68배, 1.12배 및 13.70배의 성능 향상을 보였습니다. 평가된 모든 연산자 정의에서 에이전트 지원 커널이 전체 에이전트 기반 결과물보다 우수한 성능을 보여주며, 이는 전문 지식 기반 최적화 방향, 고품질 레퍼런스 및 워크로드 컨텍스트가 신뢰할 수 있는 AI 기반 커널 최적화에 여전히 매우 중요하다는 것을 시사합니다.

Large language models (LLMs) can assist GPU kernel generation, but their practical effectiveness depends on whether generated code can be reliably constrained, validated, profiled, and selected. This paper presents a harness-centered system for LLM-driven GPU kernel optimization in the MLSys 2026 FlashInfer AI Kernel Generation Contest on NVIDIA Blackwell B200 GPUs. The system separates an evaluation harness from a profile-backed optimization controller: the harness enforces compilation, correctness, official-aligned timing, and artifact archival, while the controller turns profiler and workload evidence into bounded candidate-generation decisions. Human-authored skills capture operator constraints, references, profiling procedures, and promotion rules, while Codex and Claude Code agents generate candidate kernels inside those constraints. Across five operator definitions, the retained official-aligned artifacts achieved mean-latency speedups over supplied FlashInfer baselines of 1.62x, 18.05x, 29.68x, 1.12x, and 13.70x. The Agent-Assisted kernels outperform the Full-Agent artifacts across the evaluated definitions, indicating that expert-provided optimization directions, high-quality references, and workload context remain critical for reliable AI-driven kernel optimization.