사전 최적화 예측을 위한 위험 분해 프레임워크

A Risk Decomposition Framework for Pre-Hoc Fine-Tuning Prediction

대규모 언어 모델(LLM)의 미세 조정 비용이 높다는 것은 상당한 경제적 장벽으로 작용합니다. 사전 성능 예측은 이러한 비용을 크게 줄일 수 있는 중요한 해결책을 제공합니다. 그러나 사전 성능 예측의 이론적 한계는 아직 탐구되지 않았습니다. 본 연구에서는 이를 정보 제약 하에서의 확률적 추정 문제로 공식화하고, 예측 위험을 두 가지 구성 요소로 분해했습니다: 고유한 제한(정적인 데이터-모델 호환성)과 감소 가능한 최적화 변동입니다. 우리는 최적화 변동이 수렴 속도에 대한 필수적인 하한을 갖는다는 것을 증명했으며, 이는 사용되는 예측기에 관계없이 불확실성이 얼마나 빨리 사라지는지에 대한 근본적인 제약을 의미합니다. 이러한 동역학을 바탕으로 예산 최적의 탐색 원칙을 도출하고, 작업들을 세 가지 구별되는 영역(정적-충분, 동적-중요, 노이즈 지배)으로 분류하는 예측 가능성 상등도 다이어그램을 제시했습니다. 합성 데이터 및 실제 벤치마크에 대한 광범위한 실험은 이러한 이론적 영역을 검증하고, 우리의 탐색 전략의 효율성을 입증합니다.

The high cost of fine-tuning LLMs poses a significant economic barrier; pre-hoc performance prediction offers a critical solution to substantially reduce this expense. However, the theoretical limits of pre-hoc performance prediction remain unexplored. We formulate it as a stochastic estimation problem under information constraints, decomposing prediction risk into two components: an intrinsic limit (static data-model compatibility) and a reducible optimization variance. We prove that optimization variance admits a necessary lower bound on its decay rate, implying fundamental constraints on how quickly uncertainty dissipates, regardless of the predictor used. Based on these dynamics, we derive a budget-optimal probing principle and introduce a predictability phase diagram that organizes tasks into three distinct regimes: Static-Sufficient, Dynamic-Critical, and Noise-Dominant. Extensive experiments on synthetic and real-world benchmarks validate these theoretical regimes and demonstrate the efficiency of our probing strategy.