대규모 언어 모델(LLM)은 컴파일러가 놓치는 의미 최적화 기회를 복구할 수 있는가?

Can Large Language Models Recover Semantic Optimization Opportunities That Compilers Miss?

최적화된 컴파일러는 분석 대상 프로그램 표현에서 필요한 의미 정보가 누락되면 잠재적으로 유익한 변환을 놓칠 수 있습니다. 본 연구에서는 대규모 언어 모델(LLM)이 다양한 C/C++ 문맥으로부터 이러한 의미 정보를 복구하고, 검증된 계약을 준수하는 결과물을 생성할 수 있는지 질문합니다. 우리는 100개의 합성 사례와 20개의 소스 기반 사례를 포함하는 실행 가능한 벤치마크인 SeGaBench를 소개합니다. 이 벤치마크는 저수준 가정, 데이터 구조 불변성 및 고수준 의미론적 추상화를 포괄합니다. 각 사례에는 숨겨진 의미 정보, 정답 결과물, 정확성 검사기 및 의미 검사기, 그리고 재현 가능한 성능 프로토콜이 포함되어 있습니다. 우리는 5개의 LLM을 사용하여 각 사례에 대해 독립적인 응답 5개를 생성하여 평가했습니다. 가장 강력한 모델은 94.8%의 응답에서 정확한 결과물을 생성하고, 83.3%의 경우 최소 1.05배의 성능 향상을 달성했으며, 93.3%의 사례에서 성공적인 성능 결과를 얻었습니다. 그럼에도 불구하고, 정확한 결과물이 정답 결과물과의 격차를 완전히 해소하지 못하는 경우가 많습니다. 이러한 결과는 LLM이 컴파일러 분석을 보완하여 잠재적인 의미 정보를 제안하는 역할을 할 수 있지만, 생성된 결과물이 검증되고 평가되어야 함을 보여줍니다.

Optimizing compilers miss profitable transformations when their enabling semantics are absent from the analyzed program representation. We ask whether large language models (LLMs) can recover such semantics from heterogeneous C/C++ context and realize them as validated, contract-preserving artifacts. We introduce SeGaBench, an executable benchmark containing 100 synthetic and 20 source-backed cases spanning low-level assumptions, data-structure invariants, and high-level semantic lifting. Each case includes hidden enabling semantics, an oracle artifact, correctness and semantic validators, and a reproducible performance protocol. We evaluate five LLMs using five independent responses per case. The strongest model produces correct artifacts in 94.8% of responses, achieves at least 1.05x speedup in 83.3%, and obtains a performance success on 93.3% of cases. Nevertheless, correct artifacts often close only part of the oracle gap. These results show that LLMs can complement compiler analysis as speculative semantic proposers, provided that their artifacts are validated and evaluated.