LLVM-Bench: LLVM 컴파일러 문제 해결을 위한 대규모 언어 모델의 성능 평가 및 발전

LLVM-Bench: Benchmarking and Advancing Large Language Models for LLVM Compiler Issue Resolution

LLVM은 널리 사용되는 컴파일러 인프라로, 그 규모와 복잡성으로 인해 문제 해결은 많은 노력과 어려움을 필요로 합니다. 최근 대규모 언어 모델(LLM)이 문제 해결에서 놀라운 성공을 거두었지만, 이러한 LLM이 복잡한 시스템 수준의 LLVM 컴파일러에 얼마나 효과적인지는 아직 충분히 연구되지 않았습니다. 이를 위해 우리는 LLVM 프로젝트에서 수집된 423개의 실제 검증된 작업으로 구성된 LLVM 문제 해결을 위한 최초의 대규모 벤치마크인 LLVM-Bench를 소개합니다. 또한, issue 재현, 패치 적용, 컴파일러 빌드 및 테스트 실행을 자동화하는 확장 가능한 평가 플랫폼인 LLVM-Gym을 개발했습니다. LLVM-Bench와 LLVM-Gym을 사용하여 네 가지 대표적인 LLM, 여섯 가지 검색 구성, 그리고 세 가지 에이전트에 대한 종합적인 연구를 수행했습니다. 그 결과, 현재의 LLM 기반 문제 해결 기술은 LLVM-Bench에서 여전히 한계가 있으며, 패치 오류 및 빌드 실패가 주요 실패 원인임을 확인했습니다. 또한, 서로 다른 LLM과 에이전트 간에 강력한 상호 보완성이 있음을 밝혀냈으며, 이를 바탕으로 다양한 기술에서 생성된 패치를 통합하여 패치 공간을 확장하고, 잘못되었거나 중복되는 후보를 필터링하며, 가장 유망한 해결책을 식별하는 경량 앙상블 접근 방식인 LLVM-Ens를 제안했습니다. 실험 결과, LLVM-Ens는 최대 21.99%의 문제 해결률을 달성하여 LLVM 문제 해결 성능을 더욱 향상시키는 것을 확인했습니다.

LLVM is a widely used compiler infrastructure whose scale and complexity make issue resolution labor-intensive and challenging. Although large language models (LLMs) have recently achieved remarkable success in issue resolution, their effectiveness on complex system-level LLVM compiler remains largely unexplored. To address this gap, we introduce LLVM-Bench, the first large-scale benchmark for LLVM issue resolution, containing 423 real-world, validated tasks collected from the LLVM project. We further develop LLVM-Gym, a scalable evaluation platform that automates issue reproduction, patch application, compiler building, and test execution. Using LLVM-Bench and LLVM-Gym, we conduct a comprehensive study of four representative LLMs, six retrieval configurations, and three agents. Our results show that current LLM-based issue resolution techniques remain limited on LLVM-Bench, with patch invalidity and build failures as the dominant failure modes. We further reveal a strong complementarity among different LLMs and agents, motivating LLVM-Ens, a lightweight ensemble approach that expands the patch space through integrating the patches generated by diverse techniques, filters incorrect and redundant candidates, and identifies the most promising solution. Our results show that LLVM-Ens achieves a resolution rate of up to 21.99%, further improving LLVM issue resolution.