닭과 달걀 문제: LLM 학습을 위한 데이터 및 모델 구성 최적화

The Chicken and Egg Dilemma: Co-optimizing Data and Model Configurations for LLMs

LLM 학습을 위한 데이터 및 모델 구성 최적화는 고전적인 닭과 달걀 문제에 해당합니다. 즉, 특정 downstream 작업에 가장 적합한 학습 데이터 구성(예: 데이터 혼합)은 선택된 모델 구성(예: 모델 아키텍처)에 따라 달라지며, 반대로도 마찬가지입니다. 그러나 데이터와 모델 구성을 동시에 최적화하는 것은 종종 매우 어렵다고 여겨지며, 기존 방법들은 상호작용을 고려하지 않고 데이터 또는 모델 최적화 중 하나에만 집중하는 경향이 있습니다. 본 논문에서는 JoBS라는 접근 방식을 제안합니다. JoBS는 scaling-law 기반의 성능 예측기를 활용하여 Bayesian optimization(BO)을 통해 LLM 학습 데이터 및 모델 구성을 효율적으로 동시에 최적화합니다. JoBS는 최적화 예산의 일부를 LLM 성능 예측기를 학습하는 데 할당하며, 이 예측기는 소수의 학습 단계를 통해 특정 학습 구성이 얼마나 유망한지 예측합니다. 나머지 예산은 예측기를 사용하여 완전히 BO를 수행하며, 이를 통해 전체 학습 횟수를 줄여 비용을 절감합니다. 우리는 JoBS의 평균 후회를 분석하고, 후회를 최소화하기 위한 최적의 예산 할당 방법을 제시합니다. 실험 결과, JoBS는 동일한 최적화 예산 하에서 다양한 LLM 작업에서 기존의 multi-fidelity BO 방법과 데이터 및 모델 최적화 방법 모두를 능가하는 성능을 보였습니다.

Co-optimizing data and model configurations for training LLMs presents a classic chicken-and-egg dilemma: The best training data configuration (e.g., data mixture) for a downstream task depends on the chosen model configuration (e.g., model architecture), and vice versa. However, jointly optimizing both data and model configurations is often deemed intractable, and existing methods focus on either data or model optimization without considering their interaction. We introduce JoBS, an approach that uses a scaling-law-inspired performance predictor to aid Bayesian optimization (BO) in jointly optimizing LLM training data and model configurations efficiently. JoBS allocates a portion of the optimization budget to learn an LLM performance predictor that predicts how promising a training configuration is from a small number of training steps. The remaining budget is used to perform BO entirely with the predictor, effectively amortizing the cost of running full-training runs. We study JoBS's average regret and devise the optimal budget allocation to minimize regret. JoBS outperforms existing multi-fidelity BO baselines, as well as data and model optimization approaches across diverse LLM tasks under the same optimization budget.