합성 데이터를 활용한 메타 학습을 통한 소규모 오프라인 데이터셋 기반 블랙박스 최적화

Black-Box Optimization From Small Offline Datasets via Meta Learning with Synthetic Tasks

본 논문에서는 과거 실험 데이터로부터 최적의 설계(예: 분자 또는 재료)를 찾는 오프라인 블랙박스 최적화 문제를 다룬다. 이 분야의 주요 과제는 데이터 부족이다. 많은 과학 분야에서 사용 가능한 데이터가 매우 적거나 품질이 낮아 기존 알고리즘의 효과를 크게 제한한다. 기존 연구에서 이론적, 경험적으로 오프라인 최적화 알고리즘의 성능은 대리 모델이 최적화 편향을 얼마나 잘 포착하는지에 따라 달라지며, 이는 제한된 실험 데이터로는 달성하기 어렵다. 본 논문에서는 가우시안 프로세스에서 생성된 합성 작업을 사용하여 재사용 가능한 최적화 편향을 학습하고, 소규모 데이터를 활용하여 대상 작업에 대한 대리 모델을 미세 조정하는 메타 학습 프레임워크인 Surrogate Learning with Optimization Bias via Synthetic Task Generation (OptBias)를 제안한다. 다양한 연속 및 이산 오프라인 최적화 벤치마크에서 OptBias는 소규모 데이터 환경에서 최첨단 기준 알고리즘보다 일관되게 우수한 성능을 보인다. 이러한 결과는 OptBias가 실제적인 소규모 데이터 환경에서 오프라인 최적화를 위한 강력하고 실용적인 솔루션임을 강조한다.

We consider the problem of offline black-box optimization, where the goal is to discover optimal designs (e.g., molecules or materials) from past experimental data. A key challenge in this setting is data scarcity: in many scientific applications, only small or poor-quality datasets are available, which severely limits the effectiveness of existing algorithms. Prior work has theoretically and empirically shown that performance of offline optimization algorithms depends on how well the surrogate model captures the optimization bias (i.e., ability to rank input designs correctly), which is challenging to accomplish with limited experimental data. This paper proposes Surrogate Learning with Optimization Bias via Synthetic Task Generation (OptBias), a meta-learning framework that directly tackles data scarcity. OptBias learns a reusable optimization bias by training on synthetic tasks generated from a Gaussian process, and then fine-tunes the surrogate model on the small data for the target task. Across diverse continuous and discrete offline optimization benchmarks, OptBias consistently outperforms state-of-the-art baselines in small data regimes. These results highlight OptBias as a robust and practical solution for offline optimization in realistic small data settings.