LLM이 생성한 GPU 커널은 실제 운영 환경에서 사용 가능한가? 추적 기반 벤치마크 및 최적화 에이전트

Are LLM-Generated GPU Kernels Production-Ready? A Trace-Driven Benchmark and Optimization Agent

기존의 GPU 커널 생성 벤치마크는 합성 데이터 또는 선별된 데이터를 사용하여 실제 운영 워크로드와 차이가 있습니다. 본 연구에서는 Atrex-Bench라는 벤치마크를 제시합니다. 이 벤치마크는 컴퓨팅 병목 현상이 발생하고 메모리 용량이 큰 GPU의 전체 클러스터 운영 추적 데이터에서 직접 추출한 30개의 연산자와 440개의 모양으로 구성됩니다. 각 문제는 관찰된 GPU 사용 시간 비율에 따라 중요도 가중치를 가지며, 애플리케이션 카드 사용 시간을 고려하여 계산됩니다. 또한, 각 문제별로 성능 상한선(roofline ceiling)이 정의되어 있어, 전체 점수는 운영 시간에 가장 많이 소비되는 커널을 강조합니다. Atrex-Bench를 사용하여 6개의 최첨단 코딩 에이전트를 평가한 결과, 최고 성능의 기본 모델조차도 실제 운영 연산에서 하드웨어 성능 상한선의 약 ${ ip}10%$에 불과하다는 것을 확인했습니다. 또한, 정확성만으로는 모델의 능력을 과장하는 경향이 있으며, 높은 통과율의 상당 부분은 모델이 생성한 커널이 아닌 PyTorch의 대체 기능(fallback)에서 비롯되는 것으로 나타났습니다. 이러한 격차를 해소하기 위해, 프로파일 기반의 커널 최적화 에이전트인 Atrex-Kernel-Agent (AKA)를 함께 공개합니다. AKA는 반복적인 측정 및 수정 검색, 정체된 검색 상황에서 벗어나기 위한 최적화 드롭아웃 기능, 그리고 계층적인 GPU 최적화 지식 베이스(298개의 참조 커널 파일, 244개의 최적화 관련 문서, API/ISA 조회를 위한 외부 상위 프로젝트)를 결합합니다. 통제된 사례 연구에서, AKA는 zero-FlyDSL 대체 기능을 실제 커널로 변환하여 수동으로 조정된 운영 환경 기준과 동등하거나 그 이상의 성능을 달성했습니다.

Existing GPU kernel generation benchmarks draw problems from synthetic or curated sources that diverge from deployed workloads. We present Atrex-Bench, a benchmark whose 30 operators and 440 shapes are sampled directly from full-cluster production inference traces of compute-limited, memory-rich GPUs. Each problem carries an importance weight derived from its share of observed GPU time, weighted by application card-hours and computed separately for the serving phases in which it runs, together with a per-problem roofline ceiling, so the aggregate score emphasizes the kernels that consume the most serving time. Evaluating six frontier coding agents on Atrex-Bench shows that even the best vanilla model reaches only ${\sim}10\%$ of the hardware roofline on production operators; and correctness alone overstates capability, since much of the apparent pass rate comes from PyTorch fallbacks rather than kernels the model wrote. To close this gap, we co-release Atrex-Kernel-Agent (AKA), a profile-driven kernel-optimization agent that combines iterative measure-revise search, optimization dropout for escaping stalled search contexts, and a layered GPU-optimization knowledge base (298 reference-kernel files and 244 optimization-knowledge documents, plus external upstream reference projects for API/ISA lookup). In a controlled case study, the agent converts zero-FlyDSL fallbacks into real kernels that match or exceed hand-tuned production baselines.