RuleFlow: LLM을 활용한 재사용 가능한 프로그램 최적화 생성

RuleFlow : Generating Reusable Program Optimizations with LLMs

Pandas 프로그램 최적화는 어려운 문제입니다. 기존 시스템 및 컴파일러 기반 접근 방식은 안정성을 제공하지만, 무겁거나 제한된 최적화만 지원합니다. 반면, LLM을 사용하여 프로그램별 최적화를 수행하면 복잡한 최적화를 생성할 수 있지만, 신뢰성이 낮고 비용이 많이 들며 낮은 효율을 보입니다. 본 연구에서는 발견 단계와 배포 단계를 분리하고, 새로운 방식으로 연결하는 3단계 하이브리드 접근 방식을 소개합니다. 첫째, 프로그램별 최적화를 발견합니다 (발견 단계). 둘째, 이러한 최적화를 일반화된 재작성 규칙으로 변환합니다 (연결). 셋째, 이러한 규칙을 컴파일러에 통합하여 LLM에 대한 반복적인 의존성을 없애고, 적용 가능한 곳에 자동으로 적용합니다 (배포 단계). 우리는 RuleFlow가 PandasBench라는 어려운 Pandas 벤치마크에서 새로운 최고 성능(SOTA)을 달성했음을 보여줍니다. 이 벤치마크 노트북에서 Dias라는 이전 컴파일러 기반 SOTA에 비해 최대 4.3배, Modin이라는 이전 시스템 기반 SOTA에 비해 1914.9배의 성능 향상을 달성했습니다. 저희 코드는 https://github.com/ADAPT-uiuc/RuleFlow 에서 확인할 수 있습니다.

Optimizing Pandas programs is a challenging problem. Existing systems and compiler-based approaches offer reliability but are either heavyweight or support only a limited set of optimizations. Conversely, using LLMs in a per-program optimization methodology can synthesize nontrivial optimizations, but is unreliable, expensive, and offers a low yield. In this work, we introduce a hybrid approach that works in a 3-stage manner that decouples discovery from deployment and connects them via a novel bridge. First, it discovers per-program optimizations (discovery). Second, they are converted into generalised rewrite rules (bridge). Finally, these rules are incorporated into a compiler that can automatically apply them wherever applicable, eliminating repeated reliance on LLMs (deployment). We demonstrate that RuleFlow is the new state-of-the-art (SOTA) Pandas optimization framework on PandasBench, a challenging Pandas benchmark consisting of Python notebooks. Across these notebooks, we achieve a speedup of up to 4.3x over Dias, the previous compiler-based SOTA, and 1914.9x over Modin, the previous systems-based SOTA. Our code is available at https://github.com/ADAPT-uiuc/RuleFlow.