PassNet: 그래프 컴파일러 패스 생성을 위한 대규모 언어 모델 확장

PassNet: Scaling Large Language Models for Graph Compiler Pass Generation

최신 텐서 컴파일러인 TorchInductor는 주류 모델에서 상당한 성능 향상을 제공하지만, 일반적이지 않은 워크로드에서는 여전히 성능 제한에 직면합니다. 저희의 프로파일링 결과, 실제 서브그래프의 43%가 기본 컴파일 환경에서 성능 저하를 경험하는 것으로 나타났습니다. 대규모 언어 모델(LLM)은 자동 최적화를 위한 잠재력을 제공하지만, 기존 연구는 주로 독립적인 커널 생성에 집중되어 있습니다. 저희는 패스 생성, 즉 LLM이 컴파일러 파이프라인에 직접 통합되는 구조화된 그래프 변환을 작성하는 것이 더 적절한 추상화 수준이라고 주장합니다. PassNet은 LLM 기반 컴파일러 패스 생성을 위한 최초의 대규모 시스템으로, (1) 10만 개의 실제 모델에서 추출한 18,000개 이상의 고유한 계산 그래프로 구성된 PassNet-Dataset과 (2) 2,060개의 서브그래프를 포함하는 200개의 엄선된 일반적이지 않은 병합 작업(PassBench)으로 구성되어 있습니다. PassBench는 정확성, 안정성 및 성능을 통합하는 지표인 Error-aware Speedup Score (ES_t)로 평가되며, LLM의 악용 가능성에 대한 다층적인 방어 체계를 갖추고 있습니다. 실험 결과, PassBench는 높은 구별력을 가지며 실제 포화되지 않은 상태임을 보여줍니다. 최첨단 모델은 집계적으로 TorchInductor보다 37% 낮은 성능을 보이지만, 개별 서브그래프에서는 LLM이 동일한 컴파일러보다 최대 3배 빠른 속도를 달성합니다. 이는 병목 지점이 능력 자체가 아니라 일관성 문제임을 시사합니다. PassNet 데이터 세트의 약 4,000개 경로에 대해 작은 모델을 미세 조정하면 2.67배 성능이 향상되어 최첨단 모델 수준에 근접하며, 이는 상당한 개선 여지가 있음을 보여주고 PassNet이 LLM 기반 컴파일러 최적화를 발전시키기 위한 실제 학습 인프라로 활용될 수 있음을 입증합니다. 모든 데이터, 벤치마크 및 도구는 공개적으로 제공됩니다.

Modern tensor compilers such as TorchInductor deliver substantial speedups on mainstream models, yet face a systematic performance ceiling on long-tail workloads -- our profiling shows that 43% of real-world subgraphs experience end-to-end slowdowns under default compilation. While LLMs offer a path toward automated optimization, existing efforts focus on standalone kernel generation. We argue that pass generation -- where LLMs author structured graph transformations that integrate directly into compiler pipelines -- is the more appropriate abstraction. We propose PassNet, the first large-scale ecosystem for LLM-based compiler pass generation, comprising: (1) PassNet-Dataset, over 18K unique computational graphs from 100K real-world models; and (2) PassBench, 200 curated long-tail fusible tasks (comprising 2,060 subgraphs in total) evaluated under the Error-aware Speedup Score (ES_t) -- a metric unifying correctness, stability, and performance -- with layered integrity defenses against systematic LLM exploitation. Experiments reveal that PassBench is both highly discriminative and genuinely unsaturated: the best frontier model trails TorchInductor by 37% in aggregate, yet on individual subgraphs LLMs achieve up to 3x speedup over the same compiler -- indicating that the bottleneck is consistency, not capability. Fine-tuning a small model on merely ~4K PassNet trajectories yields a 2.67x improvement approaching frontier-model performance, demonstrating substantial headroom and validating PassNet as live training infrastructure for advancing LLM-driven compiler optimization. All data, benchmarks, and tooling are publicly available.