DataClawEval: 실제 산업 환경에서의 데이터 엔지니어링 에이전트를 위한 벤치마크

DataClawEval: A Benchmark for Data Engineering Agents in Real Industrial Harness

대규모 언어 모델(LLM)과 LLM 기반 에이전트가 복잡한 워크플로우 자동화를 위해 점점 더 많이 사용되면서 데이터 관리 및 처리 방식을 혁신할 것으로 기대됩니다. 그러나 기존의 대부분 벤치마크는 단순화된 Text-to-SQL 번역 또는 데이터 분석에 집중되어 있으며, 실질적인 엔드투엔드 데이터 엔지니어링 분야는 아직 제대로 탐구되지 않았습니다. 이러한 격차를 해소하기 위해, 우리는 실제 데이터 엔지니어링 시나리오에서 자율 에이전트의 엔드투엔드 작업 완료 능력을 평가하도록 설계된 최초의 종합 벤치마크인 DataClawEval을 소개합니다. DataClawEval은 전문 기업 데이터 엔지니어가 작성한 프로덕션 수준 코드를 기반으로 하며, PySpark, MySQL, HiveSQL, PrestoSQL/Trino 및 FlinkSQL이라는 다섯 가지 실행 엔진에 걸쳐 100개의 엄격하고 완전한 작업을 포함합니다. 기존의 비결정적인 LLM 평가 방식 대신, 각 작업은 특정 사례에 맞는 격리된 환경에서 실행되며, 결정론적인 규칙 기반 스크립트에 의해 평가됩니다. 16개의 최첨단 에이전트를 평가한 결과 중요한 한계점이 드러났습니다. 가장 뛰어난 모델의 전체 점수는 74.9점에 불과하며, 어떤 단일 모델도 압도적으로 우수하지 않습니다. 각 모델은 서로 다른 엔진에서 뛰어난 성능을 보이는 반면, 전반적인 능력이 부족하여 특정 분야에 대한 전문성이 필요하다는 것을 보여줍니다. 따라서 자율 데이터 엔지니어링은 여전히 해결해야 할 어려운 과제입니다. 저희는 데이터셋, 컨테이너화된 환경 및 결정론적 평가 스크립트를 https://github.com/Dicemy/DataClawEval/tree/master 에서 공개합니다.

Large language models (LLMs) and LLM-based agents are increasingly being deployed to automate complex workflows, promising to revolutionize data management and processing. However, existing benchmarks predominantly focus on simplified Text-to-SQL translation or data analysis, leaving the critical and complex domain of end-to-end data engineering largely unexplored. To bridge this gap, we introduce DataClawEval, the first comprehensive benchmark designed specifically to evaluate the end-to-end task completion capabilities of autonomous agents in real-world data engineering scenarios. Built upon production-grade code authored by professional enterprise data engineers, it comprises 100 rigorous, end-to-end tasks spanning five execution engines: PySpark, MySQL, HiveSQL, PrestoSQL/Trino, and FlinkSQL. Rather than non-deterministic LLM-as-a-judge scoring, each task is executed within a case-specific, isolated sandbox and graded by deterministic, rule-based scripts. Evaluating 16 frontier agents exposes critical limitations: The strongest model attains only 74.9 overall, and no single model dominates, as each excels on a different engine, revealing strict domain specialization rather than omnipotent proficiency. Thus, autonomous data engineering remains a formidable, unresolved challenge. We release our dataset, containerized environments, and deterministic evaluation scripts at https://github.com/Dicemy/DataClawEval/tree/master