COMPAS: 난이도 인지 통합 검색을 통한 코드 생성 최적화

COMPAS: Difficulty-Aware Joint Search for Optimizing Code Generation

코드 생성 시스템은 각 LLM 호출 시 모델, 프롬프트 및 디코딩 설정을 사용합니다. 그러나 기존의 최적화 방법들은 주로 이러한 요소 중 일부만 조정하거나 모든 작업에 대해 하나의 고정된 구성을 사용하는 경우가 많습니다. 예를 들어, 전역 최적화기는 모든 작업에 대해 하나의 구성만을 찾고, 라우터는 모델 하나만을 선택하며, 프롬프트 최적화기는 모델과 디코딩 설정을 고정합니다. 이러한 방식으로는 각 요소 간의 상호 작용이 명확하게 드러나지 않습니다. 따라서 본 연구에서는 이러한 요소들이 어떻게 상호 작용하는지를 조사한 결과, 프롬프트와 디코딩 설정 간에 상호 작용이 존재하며, 조정 효과는 모델에 따라 다르고, 최적의 구성은 작업 난이도에 따라 달라짐을 확인했습니다. 이러한 관찰 결과를 바탕으로, 본 연구에서는 COMPAS (Code-generation Optimization over Models, Prompts, And Decoding Settings)라는 난이도 인지 방법을 제안합니다. COMPAS는 저렴한 비용으로 모델을 선택하고 프롬프트와 디코딩 설정을 통합적으로 검색하여 그룹별 품질-비용 균형을 학습하며, 각 테스트 작업을 추가적인 검색 없이 가장 적합한 균형으로 온라인에서 연결합니다. LiveCodeBench 환경에서 동일한 검색 예산을 사용했을 때, COMPAS는 기존 최고 성능 모델의 pass@1 비율인 45.9%를 52.8%로 향상시키면서 비용을 $36.57에서 $4.92로 감소시켰습니다. 또한 이러한 개선 효과는 SWE-bench와 같은 저장소 수준의 코드 생성 작업에도 적용되어, 기존 최고 성능 모델의 70.0%에 비해 COMPAS는 76.0%의 작업을 해결할 수 있었습니다. 관련 코드 및 재현 가능성을 위한 자료는 https://github.com/gjz78910/COMPAS 에서 확인할 수 있습니다.

Code generation systems make each LLM call with a model, a prompt, and decoding settings. However, existing optimization methods usually tune only part of these choices or use one fixed configuration for all tasks: global optimizers search one configuration for all tasks, routers choose only a model, and prompt optimizers keep the model and decoding settings fixed. This leaves their joint, group-specific interactions unclear. We therefore examine how these choices interact and observe that prompts and decoding settings interact, tuning effects vary by model, and the best configuration varies by task difficulty. Guided by these observations, we introduce COMPAS (Code-generation Optimization over Models, Prompts, And Decoding Settings), a difficulty-aware method that learns group-specific quality-cost fronts through low-cost model selection and joint prompt-decoding search, then routes each test task to its matching front online without further search. Under a matched search budget on LiveCodeBench, COMPAS improves pass@1 from 45.9% for the best baseline to 52.8% while reducing cost from $36.57 to $4.92. This also transfers to repository-level code generation on SWE-bench, resolving 76.0% of tasks versus 70.0% for the best baseline. Code and the reproducibility artifact are available at https://github.com/gjz78910/COMPAS.