QVal: 장기적인 LLM 에이전트를 위한 밀집형 감독 신호의 저렴한 평가 방법

QVal: Cheaply Evaluating Dense Supervision Signals for Long-Horizon LLM Agents

LLM 에이전트는 점점 더 긴 시간 간격을 두고 작동하며, 하나의 시퀀스에는 수백 또는 수천 개의 액션이 포함될 수 있습니다. 이러한 환경에서 결과만을 기반으로 한 보상은 너무 희소한 지침을 제공하여 모델에게 중간 액션의 유용성에 대한 정보를 제공하지 못합니다. 밀집형 감독 방법은 내부적인 신뢰도부터 자기 증류 및 임베딩 유사성까지, 중간 단계를 평가함으로써 이 문제를 해결하고자 합니다. 그러나 이러한 방법들은 일반적으로 통합 파이프라인의 다운스트림 성능을 측정하여 평가됩니다. 이는 비용이 많이 들고, 감독 품질과 학습 엔지니어링 요인을 혼동시키며, 서로 다른 방법론 간의 비교를 어렵게 만듭니다. 그 결과, 밀집형 감독 방법은 공통된 기준으로 벤치마킹되는 경우가 드뭅니다. 우리는 학습 과정 없이 밀집형 감독 신호를 직접 평가할 수 있는 테스트 환경인 QVal을 소개합니다. QVal은 주어진 상태-액션 쌍에 대해, 특정 방법의 점수가 얼마나 잘 Q-값과 일치하는지를 측정합니다. 즉, 해당 방법이 강력한 참조 정책의 Q-값을 기준으로 액션을 정렬하는지 여부를 평가합니다. 이를 통해 학습 전에 신호의 품질을 비교하고, 신호 품질과 다른 엔지니어링 선택 사항을 분리할 수 있습니다. 우리는 QVal을 QVal-v1.0으로 구현하여, 21개의 밀집형 감독 방법과 4가지 다양한 환경 및 7가지 방법론 그룹에 대한 벤치마킹을 수행했습니다. 6개의 공개 모델 아키텍처를 사용하여 총 1,200개 이상의 평가 실험을 진행했습니다. 결과적으로 간단한 프롬프트 기반 방법이 최근 연구에서 제시된 밀집형 감독 방법보다 일관되게 우수한 성능을 보였으며, 성능은 방법론 그룹별로 뚜렷하게 분류되었습니다. 이러한 결과는 모델 크기, 환경 및 관찰 모드에 관계없이 유지됩니다. QVal은 새로운 환경과 방법에 쉽게 확장될 수 있도록 설계되어 있어, 연구자들이 학습 과정 전에 밀집형 감독 방법을 개선할 수 있도록 지원합니다.

LLM agents increasingly act over long horizons, where a single trajectory can contain hundreds or thousands of actions. In these settings, outcome-only rewards provide too sparse guidance, failing to inform the model about the goodness of intermediate actions. Dense supervision methods aim to solve this problem by scoring intermediate steps, from intrinsic confidence to self-distillation and embedding similarities. However, it is common practice to evaluate them by measuring the downstream performance of a training pipeline that integrates them. This is expensive, conflates supervision quality with training engineering confounders, and renders different methodological families requiring distinct training setups incomparable. As a result, dense supervision methods are rarely benchmarked on common ground. We introduce QVal, a training-free testbed for directly evaluating dense supervision signals. Given a state-action pair, QVal measures how well a method's score is Q-aligned: whether it orders actions according to the Q-values of a strong reference-policy. This lets us compare signals before any training run and separate signal quality from other engineering choices. We instantiate QVal as QVal-v1.0, benchmarking 21 dense supervision methods across four diverse environments and seven methodological families, with over 1.2K evaluation experiments across six open-weight model backbones. We find that simple prompting baselines consistently outperform recent dense supervision methods from the literature, and that performance clusters strongly by family. These findings hold across model sizes, environments, and observation modalities. QVal is designed to be easily extensible to new environments and methods, enabling researchers to iterate on dense supervision methods before any training run.