LUMINA: 병목 현상 분석을 통한 LLM 기반 GPU 아키텍처 탐색 프레임워크

LUMINA: LLM-Guided GPU Architecture Exploration via Bottleneck Analysis

최신 인공지능 워크로드, 특히 대규모 언어 모델(LLM) 추론을 위한 GPU 설계 공간 탐색(DSE)은 GPU의 방대하고 다중 모드적인 설계 공간, 높은 시뮬레이션 비용, 그리고 복잡한 설계 최적화 목표(예: 성능, 전력 및 면적 간의 균형) 때문에 매우 어렵습니다. 기존의 자동화된 DSE 방법은 종종 지나치게 많은 탐색 샘플을 요구하거나, 인간의 휴리스틱에 의해 안내되는 상호 의존적인 핵심 경로에 대한 복잡하고 수동으로 제작된 분석에 의존하여 비용이 많이 듭니다. 본 논문에서는 AI를 활용하여 GPU의 DSE 효율성과 효과를 향상시키는 LLM 기반 GPU 아키텍처 탐색 프레임워크인 LUMINA를 제시합니다. LUMINA는 시뮬레이터 코드로부터 아키텍처 지식을 추출하고, 감도 분석을 수행하여 DSE 규칙을 자동으로 생성하며, 탐색 과정에서 이러한 규칙을 자동으로 수정합니다. LUMINA의 핵심 구성 요소인 DSE 벤치마크는 아키텍처 최적화에 필요한 세 가지 기본 기술에 대한 LLM의 능력을 종합적으로 평가하고 향상시키며, 모델 선택을 위한 체계적이고 재현 가능한 기반을 제공하고 일관된 아키텍처 추론을 보장합니다. 470만 개의 가능한 설계 공간에서 LUMINA는 LLM 기반 병목 현상 분석을 통해 20단계 만에 A100 GPU보다 성능과 면적에서 더 나은 6가지 설계를 효율적으로 식별합니다. 비교 결과, LUMINA는 기존 머신러닝 기반 방법보다 설계 공간 탐색 효율성이 17.5배 높고, Pareto Hypervolume 측면에서 32.9% 더 나은 설계를 제공하여, 최소한의 탐색 비용으로 고품질의 설계 지침을 제공할 수 있음을 보여줍니다.

GPU design space exploration (DSE) for modern AI workloads, such as Large-Language Model (LLM) inference, is challenging because of GPUs' vast, multi-modal design spaces, high simulation costs, and complex design optimization objectives (e.g. performance, power and area trade-offs). Existing automated DSE methods are often prohibitively expensive, either requiring an excessive number of exploration samples or depending on intricate, manually crafted analyses of interdependent critical paths guided by human heuristics. We present LUMINA, an LLM-driven GPU architecture exploration framework that leverage AI to enhance the DSE efficiency and efficacy for GPUs. LUMINA extracts architectural knowledge from simulator code and performs sensitivity studies to automatically compose DSE rules,which are auto-corrected during exploration. A core component of LUMINA is a DSE Benchmark that comprehensively evaluates and enhances LLMs' capabilities across three fundamental skills required for architecture optimization, which provides a principled and reproducible basis for model selection and ensuring consistent architectural reasoning. In the design space with 4.7 million possible samples, LUMINA identifies 6 designs of better performance and area than an A100 GPU efficiently, using only 20 steps via LLM-assisted bottleneck analysis. In comparison, LUMINA achieves 17.5x higher than design space exploration efficiency, and 32.9% better designs (i.e. Pareto Hypervolume) than Machine-Learning baselines, showcasing its ability to deliver high-quality design guidance with minimal search cost.