순수 탐색 밴딧을 이용한 효율적인 다중 목표 프롬프트 최적화

Efficient Multi-objective Prompt Optimization via Pure-exploration Bandits

프롬프트 엔지니어링은 대규모 언어 모델(LLM)의 기능을 활용하는 데 있어 핵심적인 역할을 합니다. 프롬프트 선택은 효율적으로 가장 효과적인 프롬프트를 식별하는 것을 의미하며, 이는 프롬프트 성능의 다면적인 특성을 단일 지표로 표현할 수 없다는 중요한 과제를 간과하는 기존 연구의 한계를 가지고 있습니다. 이러한 간극을 메우기 위해, 우리는 파레토 프롬프트 집합 복구 및 최적의 실현 가능한 프롬프트 식별이라는 두 가지 실제 환경에서 다중 목표 프롬프트 선택 문제를 연구합니다. 이 문제를 순수 탐색 밴딧 프레임워크로 재구성하고, 다중 목표 밴딧에서 검증된 효율적인 알고리즘을 적용하며, 구조화된 밴딧에서 최적의 실현 가능한 선택지를 식별하기 위한 새로운 설계를 도입합니다. 또한, 선형 경우의 식별 오류에 대한 이론적 보장을 제공합니다. 다양한 LLM에 대한 광범위한 실험 결과, 밴딧 기반 접근 방식이 기존 방법보다 상당한 성능 향상을 보여주며, 다중 목표 프롬프트 최적화를 위한 원칙적이고 효율적인 프레임워크를 구축합니다.

Prompt engineering has become central to eliciting the capabilities of large language models (LLMs). At its core lies prompt selection -- efficiently identifying the most effective prompts. However, most prior investigations overlook a key challenge: the inherently multi-faceted nature of prompt performance, which cannot be captured by a single metric. To fill this gap, we study the multi-objective prompt selection problem under two practical settings: Pareto prompt set recovery and best feasible prompt identification. Casting the problem into the pure-exploration bandits framework, we adapt provably efficient algorithms from multi-objective bandits and further introduce a novel design for best feasible arm identification in structured bandits, with theoretical guarantees on the identification error in the linear case. Extensive experiments across multiple LLMs show that the bandit-based approaches yield significant improvements over baselines, establishing a principled and efficient framework for multi-objective prompt optimization.