롤아웃 없이 작업 난이도 예측

Predicting Task Difficulty Without Rollouts

작업 난이도는 에이전트의 성공 가능성을 결정하며, 롤아웃 없이 이를 추정한다는 것은 상태 기반 환경에서 비용이 많이 드는 시뮬레이션을 수행하기 전에 작업 설명을 통해 직접 예측하는 것을 의미합니다. 신뢰할 수 있는 추정치는 환경 설계자가 평가 기준을 조정하고 점진적인 학습 커리큘럼을 구축하도록 할 수 있습니다. 이는 에이전트가 장기적인 영역으로 이동함에 따라 경험적인 시행착오가 심각한 계산 병목 현상이 되는 상황에서 더욱 중요해집니다. 기존의 초기 예측 연구는 주로 정적 작업 또는 개별 코딩 환경에 국한되어 있으며, 종종 좁은 특징과 부정확한 평가 지표에 의존합니다. 본 논문에서는 코딩, 수학, 머신 러닝, 웹 탐색, 함수 호출 및 기타 영역을 포괄하는 17개의 에이전트 기반 벤치마크에서 사전(ex ante) 작업 난이도 예측을 연구합니다. 우리는 AUC가 부정확한 난이도 추정을 숨길 수 있음을 보여주고, 토큰 수준의 엔트로피를 유용한 예측 신호로 식별하며, 예상되는 난이도와 실제 난이도 간의 잔차가 오염 및 불가능성과 같은 숨겨진 환경 결함을 드러낼 수 있음을 보여줍니다.

Task difficulty dictates an agent's likelihood of success, and estimating it without rollouts means forecasting this directly from a task description before executing costly simulations in stateful environments. Reliable estimates would therefore allow environment designers to calibrate evaluation benchmarks and construct progressive training curricula. This becomes increasingly important as agents move into long-horizon domains, where empirical trial-and-error is a severe computational bottleneck. Prior work on early prediction is limited to static tasks or isolated coding environments, often relying on narrow features and inaccurate evaluation metrics. We study \textit{ex ante} difficulty prediction across 17 agentic benchmarks spanning coding, mathematics, machine learning, web navigation, function calling, and other domains. We show that AUC can mask poor difficulty estimates, identify token-level entropy as a useful predictive signal, and show how residuals between expected and observed difficulty can expose hidden environment flaws such as contamination and infeasibility.