DTBench: 문서-표 변환 추출을 위한 합성 벤치마크

DTBench: A Synthetic Benchmark for Document-to-Table Extraction

문서-표 (Doc2Table) 추출은 비정형 문서로부터 특정 스키마에 따른 구조화된 표를 추출하여 신뢰성 있고 검증 가능한 SQL 기반 데이터 분석을 가능하게 합니다. 대규모 언어 모델(LLM)은 유연한 정보 추출에 대한 가능성을 보여주었지만, 특히 추론 및 충돌 해결과 같은 복잡한 능력을 요구하는 간접 추출의 경우, 정확하게 구조화된 표를 생성하는 능력은 아직 충분히 이해되지 않았습니다. 기존 벤치마크는 문서-표 추출에 필요한 다양한 능력을 명시적으로 구분하거나 포괄적으로 다루지 못합니다. 우리는 기능 기반 벤치마크가 체계적인 평가에 필수적이라고 주장합니다. 그러나 인간이 주석을 단 문서-표 쌍을 사용하여 이러한 벤치마크를 구축하는 것은 비용이 많이 들고 확장하기 어렵고, 기능 범위가 제한적입니다. 이러한 문제를 해결하기 위해, 우리는 역방향 Table2Doc 패러다임을 채택하고, 근본 진실 표로부터 문서를 생성하기 위한 다중 에이전트 합성 워크플로우를 설계했습니다. 이러한 접근 방식을 기반으로, 우리는 5개의 주요 범주와 13개의 하위 범주를 포함하는 제안된 2단계 분류 체계를 채택한 합성 벤치마크인 DTBench를 제시합니다. 우리는 DTBench에서 여러 주류 LLM을 평가하고, 모델 간 상당한 성능 차이와 추론, 충실성 및 충돌 해결에 대한 지속적인 과제를 보여줍니다. DTBench는 데이터 생성 및 평가를 위한 포괄적인 테스트 환경을 제공하며, 문서-표 추출에 대한 향후 연구를 촉진합니다. 이 벤치마크는 https://github.com/ZJU-DAILY/DTBench 에서 공개적으로 이용할 수 있습니다.

Document-to-table (Doc2Table) extraction derives structured tables from unstructured documents under a target schema, enabling reliable and verifiable SQL-based data analytics. Although large language models (LLMs) have shown promise in flexible information extraction, their ability to produce precisely structured tables remains insufficiently understood, particularly for indirect extraction that requires complex capabilities such as reasoning and conflict resolution. Existing benchmarks neither explicitly distinguish nor comprehensively cover the diverse capabilities required in Doc2Table extraction. We argue that a capability-aware benchmark is essential for systematic evaluation. However, constructing such benchmarks using human-annotated document-table pairs is costly, difficult to scale, and limited in capability coverage. To address this, we adopt a reverse Table2Doc paradigm and design a multi-agent synthesis workflow to generate documents from ground-truth tables. Based on this approach, we present DTBench, a synthetic benchmark that adopts a proposed two-level taxonomy of Doc2Table capabilities, covering 5 major categories and 13 subcategories. We evaluate several mainstream LLMs on DTBench, and demonstrate substantial performance gaps across models, as well as persistent challenges in reasoning, faithfulness, and conflict resolution. DTBench provides a comprehensive testbed for data generation and evaluation, facilitating future research on Doc2Table extraction. The benchmark is publicly available at https://github.com/ZJU-DAILY/DTBench.