daVinci-kernel: 강화 학습을 통한 GPU 커널 최적화를 위한 기술 선택, 요약 및 활용의 공동 진화

daVinci-kernel: Co-Evolving Skill Selection, Summarization, and Utilization via RL for GPU Kernel Optimization

GPU 커널 최적화는 기능적인 정확성은 전제로 하고 실행 효율성을 목표로 하는 패러다임입니다. 본 논문에서는 동적으로 변화하는 기술 라이브러리를 통해 기술 발견과 활용을 결합하는 강화 학습 프레임워크인 daVinci-kernel을 제시합니다. daVinci-kernel은 BM25 및 LLM 재순위를 통해 관련 기술을 검색하는 기술 선택 에이전트, 선택된 기술에 따라 다중 턴 CUDA/Triton 커널을 생성하는 정책 에이전트, 그리고 성공적인 실행 결과를 재사용 가능한 기술로 추출하는 기술 요약 에이전트라는 세 개의 에이전트를 하나의 LLM 백본으로 공유하며 공동으로 학습합니다. 후보 기술은 실행 기반 검증을 통해 재현 가능한 속도 향상이 확인된 경우에만 추가됩니다. 세 에이전트는 모두 단일 LLM 백본을 사용하며, 다양성 필터링된 데이터셋을 이용한 구조화된 지도 미세 조정(SFT)으로 초기화되고, 이후 다중 턴 REINFORCE 및 각 에이전트별 이점 추정을 통해 전체적으로 최적화됩니다. KernelBench에서 daVinci-kernel-14B는 Level 1, Level 2 및 Level 3에서 각각 37.2%, 70.6% 및 32.2%의 성능 향상을 달성하여, 기존 최고 성능의 강화 학습 기반 모델인 Dr.Kernel-14B를 능가했습니다.

GPU kernel optimization represents a paradigm where functional correctness is assumed and execution efficiency is the objective. We present daVinci-kernel, a reinforcement learning framework that couples skill discovery with skill exploitation through a dynamically evolving skill library. daVinci-kernel jointly trains three agents sharing one LLM backbone: a Skill Selection Agent that retrieves relevant techniques via BM25 and LLM reranking, a Policy Agent that generates multi-turn CUDA/Triton kernels conditioned on selected skills, and a Skill Summary Agent that distills successful rollouts into reusable skills. Candidate skills are added only after execution-based verification confirms reproducible speedups. All three agents share a single LLM backbone, are initialized via a structured SFT cold start on diversity-filtered data, and are then jointly optimized end-to-end with multi-turn REINFORCE and per-agent advantage estimation. On KernelBench, daVinci-kernel-14B achieves 37.2%, 70.6%, and 32.2% on Level 1, Level 2, and Level 3 under the Fast$_1$ threshold, outperforming the strongest prior RL-trained model, Dr.Kernel-14B.