평가자를 평가한다: 에이전트 기반 데이터 분석 시스템 평가를 통한 교훈

Grading the Grader: Lessons from Evaluating an Agentic Data Analysis System

에이전트 기반 데이터 분석 시스템은 코드, 수치 결과, 그리고 구어형 진단 등 풍부한 출력을 생성합니다. 이는 단일 턴 LLM 응답보다 평가하기 어렵기 때문에, 에이전트의 출력과 정답 간의 실제 불일치를 평가 과정에서 발생하는 오류와 구분하는 것이 중요합니다. 본 연구에서는 LAMBDA라는 다중 에이전트 데이터 분석 시스템을 DSGym의 153개의 수치 QRData 작업에 적용하여, 자동화된 평가 도구가 이러한 시스템을 얼마나 신뢰성 있게 평가하는지 조사하고, 어떤 전략이 평가 품질을 향상시키는지 분석했습니다. 엄격한 정규식 매칭, LLM 기반의 관대한 평가, 그리고 코드 조각 기반의 인간 검사를 결합한 세 단계의 인간-AI 평가 체계를 개발하고 평가했으며, 이는 GenAI 기술과 비-GenAI 기술 전략을 결합하여 다양한 오류 패턴을 고려합니다. 두 가지 자동화된 평가 도구 모두 70번의 실행에서 오탐이 전혀 발생하지 않아 100%의 정밀도를 보였습니다. 관대한 평가 도구는 인간 레이블에 대한 재현율이 97%입니다. 키워드 기반 추출 파이프라인은 마지막 숫자 휴리스틱을 사용하는 엄격한 평가 도구의 재현율을 60%p 향상시켰으며, 관대한 평가 도구는 아키텍처적으로 파서에 의존하지 않습니다. 반복적인 '넛지(nudge)' 메커니즘은 평가 실행 성공률을 36%에서 97%로, 그리고 관대한 평가 합격률을 16%에서 46%로 향상시켰습니다. 원래 질문을 다시 주입하는 것과 그렇지 않은 것을 비교한 결과, 재주입이 별다른 이점을 제공하지 않는다는 사실은 '넛지'가 정답 템플릿 역할을 한다는 것을 확인시켜줍니다. 또한, 본 사례 연구를 통해 변수 유형이 작업 메타데이터 필드 중에서 평가 파이프라인의 작동 방식과 관찰된 최종 결과에 가장 일관되게 연관되어 있음을 확인했습니다.

Agentic data analysis systems produce rich outputs, including code, numerical results, and verbal diagnostics. This makes them more challenging to evaluate than single-turn LLM responses. It is therefore necessary to distinguish genuine disagreement between an agent's output and a ground-truth answer from grading artifacts. We investigate how reliably automated graders assess such a system and what strategies improve grading quality by applying LAMBDA, a multi-agent data-analysis system, on 153 numerical QRData tasks from DSGym. We develop and evaluate a three-layer human-AI grading cascade: strict regex matching, LLM-based lenient grading, and snippet-based human inspection, which combines non-GenAI and GenAI strategies with different failure profiles. Both automated graders achieve 100% observed precision (0/70 false positives). The lenient grader's recall is 97% against human labels. A keyword-anchored extraction pipeline raises the strict grader's recall by 60 percentage points over a last-number heuristic; the lenient grader is architecturally parser-independent. An iterative nudge mechanism raises grading run success from 36% to 97% and lenient-pass rates from 16% to 46%; comparing nudging with and without original-question re-injection shows that re-injection offers no benefit, confirming the nudge as an answer template cue. We further observe in this case study that variable type is the task metadata field most consistently associated with grading pipeline dynamics and observed outcome grades.