ORTHOBO: 직교 베이지안 하이퍼파라미터 최적화

ORTHOBO: Orthogonal Bayesian Hyperparameter Optimization

베이지안 최적화는 모델 평가 비용이 높은 경우 하이퍼파라미터 최적화에 널리 사용되지만, 노이즈가 많은 획득 함수 추정은 불안정한 결정을 초래할 수 있습니다. 우리는 이전에 간과되었던 문제인 획득 함수 추정 노이즈를 실패 요인으로 식별했습니다. 심지어 대체 모델과 획득 대상이 올바르게 지정된 경우에도, 유한 표본 몬테카를로 오차가 획득 함수 값을 왜곡할 수 있습니다. 이는 후보 순위를 뒤바꾸어 최적의 베이지안 최적화 결정을 내리지 못하게 할 수 있습니다. 이를 해결하기 위해, 우리는 분산 감소를 목표로 하며, 최적 가중치 스코어-함수 제어 변수를 빼는 직교 획득 함수 추정기를 제안합니다. 이 추정기는 획득 잔차가 사후 스코어 방향과 직교하도록 만들어 몬테카를로 분산을 줄입니다. 또한, 우리는 직교 획득 함수 추정기와 앙상블 대체 모델, 그리고 외부 로그 변환을 결합한 베이지안 최적화 프레임워크인 OrthoBO를 소개합니다. 우리는 이론적으로 우리의 추정기가 목표를 유지하고, 분산을 줄이며, 쌍별 순위의 안정성을 향상시킨다는 것을 보여줍니다. 또한, 우리는 수치 실험을 통해 OrthoBO의 이론적 특성을 검증했으며, 우리의 프레임워크는 획득 함수 추정 분산을 줄이고, 후보 순위를 안정화하며, 뛰어난 성능을 달성했습니다. 또한, 우리는 OrthoBO가 신경망 훈련 및 미세 조정을 위한 하이퍼파라미터 최적화에서 어떻게 활용될 수 있는지 보여줍니다.

Bayesian optimization is widely used for hyperparameter optimization when model evaluations are expensive; however, noisy acquisition estimates can lead to unstable decisions. We identify acquisition estimation noise as a failure mode that was previously overlooked: even when the surrogate model and acquisition target are correctly specified, finite-sample Monte Carlo error can perturb acquisition values. This can, in turn, flip candidate rankings and lead to suboptimal BO decisions. As a remedy, we aim at variance reduction and propose an orthogonal acquisition estimator that subtracts an optimally weighted score-function control variate, which yields an acquisition residual orthogonal to posterior score directions and which thus reduces Monte Carlo variance. We further introduce OrthoBO: a Bayesian optimization framework that combines our orthogonal acquisition estimator with ensemble surrogates and an outer log transformation. We show theoretically that our estimator preserves the target, leads to variance reduction, and improves pairwise ranking stability. We further verify the theoretical properties of OrthoBO through numerical experiments where our framework reduces acquisition estimation variance, stabilizes candidate rankings, and achieves strong performance. We also demonstrate the downstream utility of OrthoBO in hyperparameter optimization for neural network training and fine-tuning.