동적 비용 환경에서의 신경망 기반 비근시적 베이지안 최적화

Neural Nonmyopic Bayesian Optimization in Dynamic Cost Settings

베이지안 최적화(BO)는 블랙박스 함수를 최적화하기 위한 일반적인 프레임워크이지만, 대부분의 기존 방법은 정적인 쿼리 비용을 가정하고 근시적인 획득 전략에 의존합니다. 본 논문에서는 LookaHES라는 비근시적 BO 프레임워크를 소개합니다. LookaHES는 평가 비용이 이전 행동에 따라 달라지는 동적, 과거 의존적 비용 환경을 위해 설계되었으며, 공간 작업에서의 이동 거리 또는 시퀀스 설계에서의 편집 거리와 같은 상황에 적용될 수 있습니다. LookaHES는 $H$-엔트로피 탐색의 다단계 변형, 경로 기반 샘플링, 신경망 정책 최적화를 결합하여 기존의 비근시적 방법의 지수적 복잡성을 극복하고 20단계를 넘어선 장기적인 계획을 가능하게 합니다. 핵심적인 혁신은 신경망 정책(대규모 언어 모델 포함)을 통합하여 단백질 서열과 같은 구조화되고 조합적인 행동 공간을 효과적으로 탐색하는 것입니다. 이러한 정책은 예측 계획을 효율적으로 수행하며, 롤아웃 과정에서 도메인별 제약 조건을 통합할 수 있습니다. 실험 결과, LookaHES는 2차원부터 8차원까지의 9가지 합성 벤치마크 및 NASA의 야간 조명 이미지를 사용한 지리 공간 최적화, 제한된 토큰 수준 편집을 사용한 단백질 서열 설계라는 두 가지 실제 작업에서 강력한 근시적 및 비근시적 기준 모델보다 우수한 성능을 보였습니다. 요약하자면, LookaHES는 복잡한 의사 결정 공간에서 강력하고 장기적인 최적화를 위한 일반적이고 확장 가능하며 비용을 고려한 솔루션을 제공하며, 이는 머신러닝, 통계 및 응용 분야 연구자에게 유용한 도구입니다. 구현 코드는 https://github.com/sangttruong/nonmyopia 에서 확인할 수 있습니다.

Bayesian optimization (BO) is a common framework for optimizing black-box functions, yet most existing methods assume static query costs and rely on myopic acquisition strategies. We introduce LookaHES, a nonmyopic BO framework designed for dynamic, history-dependent cost environments, where evaluation costs vary with prior actions, such as travel distance in spatial tasks or edit distance in sequence design. LookaHES combines a multi-step variant of $H$-Entropy Search with pathwise sampling and neural policy optimization, enabling long-horizon planning beyond twenty steps without the exponential complexity of existing nonmyopic methods. The key innovation is the integration of neural policies, including large language models, to effectively navigate structured, combinatorial action spaces such as protein sequences. These policies amortize lookahead planning and can be integrated with domain-specific constraints during rollout. Empirically, LookaHES outperforms strong myopic and nonmyopic baselines across nine synthetic benchmarks from two to eight dimensions and two real-world tasks: geospatial optimization using NASA night-light imagery and protein sequence design with constrained token-level edits. In short, LookaHES provides a general, scalable, and cost-aware solution for robust long-horizon optimization in complex decision spaces, which makes it a useful tool for researchers in machine learning, statistics, and applied domains. Our implementation is available at https://github.com/sangttruong/nonmyopia.