신뢰성이 낮은 피드백을 활용한 문맥 기반 블랙박스 최적화

In-Context Black-Box Optimization with Unreliable Feedback

과학 및 공학 분야에서 블랙박스 최적화는 종종 추가 정보와 함께 수행됩니다. 전문가, 시뮬레이터, 사전 학습된 예측 모델 또는 휴리스틱은 어떤 후보가 유망해 보이는지 제안할 수 있습니다. 이러한 정보는 탐색 속도를 높일 수 있지만, 편향되거나 입력 의존적이거나 오해를 불러일으킬 수도 있습니다. 기존의 피드백 기반 최적화 방법은 일반적으로 한 번에 하나의 작업만 처리하므로, 여러 피드백 소스에 대한 일반화 능력이 제한됩니다. 문맥 기반 최적화기는 여러 작업 간의 적응성을 높이지만, 일반적으로 테스트 시점에 사용 가능한 정보는 최적화 기록뿐이라고 가정합니다. 본 연구에서는 관찰된 기록과 현재 후보 집합에 대한 저렴한 추가 피드백을 모두 활용하는 문맥 기반 블랙박스 최적화(FICBO)를 제안합니다. 우리는 피드백 소스가 실제 목표와 관련하여 접근성, 관련성 및 왜곡 측면에서 어떻게 다른지를 모델링하는 구조화된 피드백 사전 지식을 도입하고, 이를 사용하여 피드백 기반 트랜스포머를 사전 학습합니다. 테스트 시점에는 모델이 관찰된 목표 값과 추가 신호를 비교하여 컨텍스트 내에서 소스 신뢰도를 추정하여 쿼리 선택을 개선합니다. 합성 데이터와 실제 데이터셋에서 FICBO는 유용한 피드백을 효과적으로 활용하면서 약하거나 오해를 불러일으키는 소스에 대해서도 견고성을 유지하여 다른 방법보다 우수한 성능을 보입니다. 추가적인 실험적 분석은 모델이 테스트 시점에 사용되는 소스를 어떻게 인식하는지 보여주며, 모델의 해석 가능성과 의사 결정 과정에 대한 통찰력을 제공합니다.

Black-box optimization in science and engineering often comes with side information: experts, simulators, pretrained predictors, or heuristics can suggest which candidates look promising. This information can accelerate search, but it can also be biased, input-dependent, or misleading. Feedback-aware BO methods typically handle one task at a time, limiting their ability to generalize over multiple sources of feedback. In-context optimizers address cross-task adaptation, but usually assume that optimization history is the only available signal at test time. We study feedback-informed in-context black-box optimization (FICBO), where a pretrained optimizer conditions on both the observed history and cheap auxiliary feedback for the current candidate set. We introduce a structured feedback prior that models how feedback sources vary in their access, relevance, and distortion relative to the true objective, and use it to pretrain a feedback-aware transformer. At test time, the model estimates source reliability in context by comparing observed objective values with auxiliary signals, improving query selection. On synthetic and real-world tasks, FICBO effectively exploits informative feedback while remaining robust to weak or misleading sources, improving over other baselines. Empirical investigations further illustrate how the model perceives test-time sources, offering insights into its interpretability and decision-making process.