실제 환경 컴파일러를 위한 에이전트 기반 시스템

Agentic Harness for Real-World Compilers

컴파일러는 현대 컴퓨팅의 핵심이지만, 컴파일러 버그를 수정하는 것은 어렵습니다. 최근의 대규모 언어 모델(LLM) 발전은 자동 버그 수정 기능을 가능하게 하지만, 컴파일러 버그는 복잡성, 심층적인 전문 지식 요구, 그리고 희소하고 설명력이 부족한 버그 보고서 등으로 인해 고유한 어려움을 제시하며, 따라서 컴파일러 특화 도구가 필요합니다. 이러한 격차를 해소하기 위해, 우리는 LLM 에이전트가 컴파일러 버그를 이해하고 수정하는 데 도움을 주기 위해 설계된 최초의 에이전트 기반 시스템인 llvm-autofix를 소개합니다. 우리의 초점은 가장 널리 사용되는 컴파일러 인프라 중 하나인 LLVM입니다. llvm-autofix의 핵심은 에이전트 친화적인 LLVM 도구, 재현 가능한 LLVM 버그 모음인 llvm-bench, 그리고 LLVM 버그 수정을 위한 맞춤형 최소 에이전트 llvm-autofix-mini입니다. 우리의 실험 결과는 최첨단 모델이 일반적인 소프트웨어 버그를 해결하는 것과 비교하여 컴파일러 버그를 해결할 때 60%의 성능 저하를 보인다는 것을 보여줍니다. 또한, 우리의 최소 에이전트 llvm-autofix-mini는 최첨단 기술보다 약 22% 더 우수한 성능을 보였습니다. 이는 LLM과 컴파일러 엔지니어링 간의 격차를 해소하기 위한 우리와 같은 전문화된 시스템의 필요성을 강조합니다. 우리는 이 연구가 컴파일러와 같은 복잡한 시스템에서 LLM의 기능을 발전시키는 기반을 마련한다고 믿습니다. GitHub: https://github.com/dtcxzyw/llvm-autofix

Compilers are critical to modern computing, yet fixing compiler bugs is difficult. While recent large language model (LLM) advancements enable automated bug repair, compiler bugs pose unique challenges due to their complexity, deep cross-domain expertise requirements, and sparse, non-descriptive bug reports, necessitating compiler-specific tools. To bridge the gap, we introduce llvm-autofix, the first agentic harness designed to assist LLM agents in understanding and fixing compiler bugs. Our focus is on LLVM, one of the most widely used compiler infrastructures. Central to llvm-autofix are agent-friendly LLVM tools, a benchmark llvm-bench of reproducible LLVM bugs, and a tailored minimal agent llvm-autofix-mini for fixing LLVM bugs. Our evaluation demonstrates a performance decline of 60% in frontier models when tackling compiler bugs compared with common software bugs. Our minimal agent llvm-autofix-mini also outperforms the state-of-the-art by approximately 22%. This emphasizes the necessity for specialized harnesses like ours to close the loop between LLMs and compiler engineering. We believe this work establishes a foundation for advancing LLM capabilities in complex systems like compilers. GitHub: https://github.com/dtcxzyw/llvm-autofix