TuneAhead: 완전한 학습 시작 전에 파인튜닝 성능 예측

TuneAhead: Predicting Fine-tuning Performance Before Full Training Begins

대규모 언어 모델(LLM)의 파인튜닝은 많은 계산 자원을 소모하며 오류가 발생하기 쉽습니다. 모델 성능은 데이터 품질 및 하이퍼파라미터 선택에 민감하게 의존하며, 잘못된 설정으로 인해 오히려 모델 성능이 저하될 수 있습니다. 이러한 상황에서, 완전한 학습을 시작하기 전에 파인튜닝 성능을 예측할 수 있을까요? 본 논문에서는 사전 예측을 위한 경량 프레임워크인 TUNEAHEAD를 제시합니다. TUNEAHEAD는 각 후보 실행을 정적 데이터셋 설명자와 짧은 표준화된 탐색(probe)에서 얻은 동적 특성 벡터로 구성된 메타-특징 벡터로 인코딩합니다. 예측 모델은 이러한 특징들을 활용하여 성능 추정치를 제공하며, SHAP 기반의 해석력 있는 진단 도구를 통해 어떤 특정 특징이 예측에 영향을 미치는지 파악할 수 있습니다. Qwen2.5-7B-Instruct 모델을 사용한 1,300건 이상의 파인튜닝 실험에서, TUNEAHEAD는 Early-Stop Extrapolation 및 ProxyLM과 같은 강력한 기준 모델보다 일관되게 우수한 성능을 보였습니다. 별도의 테스트 데이터셋(370건)에 대해, TUNEAHEAD는 RMSE 1.47%의 정확도를 달성했으며, 예측값 중 95.1%가 실제 점수에서 ±3% 이내의 오차를 가졌습니다. 이러한 정확한 성능 예측은 불필요한 완전 파인튜닝을 줄이면서도 가장 유망한 실험을 유지할 수 있는 실용적인 실행/불실행(go/no-go) 정책 수립을 지원합니다.

Fine-tuning large language models (LLMs) is compute-intensive and error-prone: model performance depends sensitively on data quality and hyperparameter choices, and naïve runs can even degrade model performance. This raises a practical question:can we predict fine-tuning performance before committing to a full training run? We present TUNEAHEAD, a lightweight framework for pre-hoc prediction of fine-tuning performance. TUNEAHEAD encodes each candidate run as a meta-feature vector that combines static dataset descriptors with dynamic probe features from a short standardized probe. A predictor maps these features to performance estimates, while SHAP-based attributions provide interpretable diagnostics that reveal which specific features drive the prediction. Across 1,300+ fine-tuning runs on Qwen2.5-7B-Instruct, TUNEAHEAD consistently outperforms strong baselines such as Early-Stop Extrapolation and ProxyLM. On a held-out test set of 370 runs, TUNEAHEAD achieves an RMSE of 1.47 percentage points and places 95.1% of predictions within +3/-3 percentage points of the true score. These accurate continuous predictions support practical go/no-go screening policies that can reduce unnecessary full fine-tuning while retaining most promising runs.