ParEvalLayer: 부분적인 LLM 에이전트 평가가 의사 결정에 미치는 영향

ParEvalLayer: When Partial LLM-Agent Evaluations Support a Decision

LLM 에이전트 평가는 전체 벤치마크 실행이 완료되기 훨씬 전에 작업 결과물을 생성하는 경우가 많습니다. 부분 점수를 보고하는 것은 유혹적이지만, 관찰된 작업들이 전체 평가와 동일한 결론을 뒷받침하는지 나타내지는 못합니다. 초기 작업은 벤치마크의 중요한 부분을 생략할 수 있으며, 먼저 저렴한 작업을 실행하면 관찰된 샘플이 왜곡될 수 있습니다. 또한, 쉬운 쌍만 평가하는 규칙은 정확해 보일 수 있지만, 많은 비교 결과를 해결하지 못할 수 있습니다. 우리는 ParEvalLayer를 소개합니다. ParEvalLayer는 두 개의 에이전트 시스템에 대한 쌍별 결과와 사전에 선택된 비교 정책을 읽어들이는 의사 결정 레이어입니다. 각 부분 실행마다, 테스트된 에이전트 시스템이 요구되는 수준으로 더 나은지, 그렇지 않은지, 더 많은 증거가 필요한지, 아니면 판단을 보류해야 하는지를 기록합니다. 우리는 기존의 공개 벤치마크 데이터를 재사용하여 각 평가가 일찍 종료되었다고 가정하고 ParEvalLayer를 평가했습니다. 각 시점에서 ParEvalLayer는 지금까지 관찰된 결과만 사용하여 정책을 적용하며, 두 가지 비교 판단 중 하나에 도달하면 해당 시스템 쌍에 대한 완료된 데이터와 일치하는지 확인합니다. 주 비교 규칙을 사용했을 때, 공개 벤치마크 중 세 개는 전체 평가와 동일한 결론에 도달했지만, 작업 결과물의 15%에서 25%만 관찰했을 때였습니다. 다른 벤치마크는 더 많은 작업 결과물이 필요했습니다. 이러한 차이는 부분 점수만으로는 충분하지 않은 이유를 보여줍니다. 보고서에는 의사 결정 규칙과 판단되지 않은 비교 항목의 수가 명시되어야 합니다.

LLM-agent evaluations often produce task outcomes long before the full benchmark run is complete. A partial score is tempting to report, but it does not show whether the observed tasks support the same conclusion as the completed evaluation. Early tasks can omit important parts of a benchmark, running cheaper tasks first can distort the observed sample, and a rule that decides only easy pairs can appear accurate while leaving many comparisons unresolved. We introduce ParEvalLayer, a decision layer that reads paired outcomes for two agent systems and a comparison policy chosen in advance. For each partial run, it records whether the tested agent system is better by the required amount, is not better by that amount, needs more evidence, or should abstain. We evaluate ParEvalLayer by replaying completed public benchmark data as if each evaluation had stopped earlier. At each point, ParEvalLayer applies the policy using only the outcomes observed so far; if it reaches one of the two comparison judgments, we check whether that judgment matches the completed data for the same system pair. With the main comparison rule, three of the public benchmarks reach the same decision as the completed evaluation after observing only 15% to 25% of task outcomes. Other benchmarks require more task outcomes. This variation shows why a partial score alone is not enough: reports should also state the decision rule and how many comparisons remain without a decision.