조건부 라그랑주 최적 수송을 이용한 하이퍼파라미터 경로 추론

Hyperparameter Trajectory Inference with Conditional Lagrangian Optimal Transport

신경망(NN)은 종종 설계 시점에 설정되는 하이퍼파라미터에 의해 결정되는 중요한 행동적 상호작용을 갖습니다. 이러한 하이퍼파라미터에는 강화 학습에서의 보상 가중치나 회귀에서의 분위수 목표 값이 포함됩니다. 그러나 배포 후 사용자의 선호도가 변화하면 초기 설정이 바람직하지 않을 수 있으며, 이는 잠재적으로 비용이 많이 드는 재학습을 필요로 합니다. 이러한 문제를 해결하기 위해, 우리는 하이퍼파라미터 경로 추론(HTI)이라는 작업을 제안합니다. 이는 관찰된 데이터를 기반으로 신경망의 조건부 출력 분포가 하이퍼파라미터에 따라 어떻게 변화하는지 학습하고, 관찰되지 않은 하이퍼파라미터 설정에서 신경망을 근사하는 대체 모델을 구축하는 작업입니다. HTI는 기존의 경로 추론 방법을 확장하여 조건을 포함해야 하며, 이는 추론된 경로의 실현 가능성을 보장하는 문제를 더욱 어렵게 만듭니다. 우리는 조건부 라그랑주 최적 수송을 기반으로 하는 접근 방식을 제안합니다. 이는 하이퍼파라미터에 의해 유발되는 역학을 지배하는 라그랑주 함수와 함께, 관찰된 주변 분포 간의 관련된 최적 수송 맵과 지오데식을 공동으로 학습하여 대체 모델을 형성합니다. 우리는 학습된 라그랑주 함수에 매니폴드 가설 및 최소 작용 원리에 기반한 유도적 편향을 통합하여 대체 모델의 실현 가능성을 향상시킵니다. 우리는 실험적으로 우리의 접근 방식이 다양한 하이퍼파라미터 범위에서 신경망 출력을 다른 대안보다 더 잘 재구성한다는 것을 입증했습니다.

Neural networks (NNs) often have critical behavioural trade-offs that are set at design time with hyperparameters-such as reward weights in reinforcement learning or quantile targets in regression. Post-deployment, however, user preferences can evolve, making initial settings undesirable, necessitating potentially expensive retraining. To circumvent this, we introduce the task of Hyperparameter Trajectory Inference (HTI): to learn, from observed data, how a NN's conditional output distribution changes with its hyperparameters, and construct a surrogate model that approximates the NN at unobserved hyperparameter settings. HTI requires extending existing trajectory inference approaches to incorporate conditions, exacerbating the challenge of ensuring inferred paths are feasible. We propose an approach based on conditional Lagrangian optimal transport, jointly learning the Lagrangian function governing hyperparameter-induced dynamics along with the associated optimal transport maps and geodesics between observed marginals, which form the surrogate model. We incorporate inductive biases based on the manifold hypothesis and least-action principles into the learned Lagrangian, improving surrogate model feasibility. We empirically demonstrate that our approach reconstructs NN outputs across various hyperparameter spectra better than other alternatives.