자동 프롬프트 최적화에서의 서브모듈러 평가 부분집합 선택

Submodular Evaluation Subset Selection in Automatic Prompt Optimization

자동 프롬프트 최적화는 수동 프롬프트 엔지니어링을 줄여주지만, 주요 피드백 신호로 작고, 종종 무작위로 추출된 평가 부분집합에 의존합니다. 그러나 평가 부분집합 선택은 일반적으로 구현 세부 사항으로 취급되는 경우가 많습니다. 본 연구에서는 프롬프트 최적화를 위한 평가 부분집합 선택을 원칙적인 관점에서 연구하고, 서브모듈러 평가 부분집합 선택 방법인 SESS를 제안합니다. 선택 문제를 목적 함수를 최대화하는 문제로 정의하고, 완화된 조건 하에서 이는 단조적이고 서브모듈러적이라는 것을 보여주며, 이를 통해 이론적 보장이 가능한 탐욕적인 선택 방법을 사용할 수 있습니다. GSM8K, MATH, 그리고 GPQA-Diamond 데이터셋에서 서브모듈러 방식으로 선택된 평가 부분집합은 무작위 또는 휴리스틱 기반의 기준보다 더 나은 최적화된 프롬프트를 얻을 수 있습니다.

Automatic prompt optimization reduces manual prompt engineering, but relies on task performance measured on a small, often randomly sampled evaluation subset as its main source of feedback signal. Despite this, how to select that evaluation subset is usually treated as an implementation detail. We study evaluation subset selection for prompt optimization from a principled perspective and propose SESS, a submodular evaluation subset selection method. We frame selection as maximizing an objective set function and show that, under mild conditions, it is monotone and submodular, enabling greedy selection with theoretical guarantees. Across GSM8K, MATH, and GPQA-Diamond, submodularly selected evaluation subsets can yield better optimized prompts than random or heuristic baselines.