ST-Raptor: 반정형 테이블 질의응답을 위한 에이전트 기반 시스템

ST-Raptor: An Agentic System for Semi-Structured Table QA

반정형 테이블 질의응답(QA)은 (1) 셀 내용 및 위치의 정확한 추출과 (2) 테이블 레이아웃에 암묵적으로 내재된 핵심 논리 구조, 계층적 관계 및 의미적 연관성을 정확하게 파악해야 하는 어려운 과제입니다. 실제로 이러한 테이블은 종종 인간 전문가에 의해 수동으로 해석되는데, 이는 노동 집약적이고 시간 소모적입니다. 하지만 이 프로세스를 자동화하는 것은 여전히 어렵습니다. 기존의 텍스트-SQL 방법은 일반적으로 반정형 테이블을 구조화된 형식으로 변환해야 하며, 이는 필연적으로 정보 손실을 초래합니다. 또한 텍스트-코드 및 멀티모달 LLM 기반 QA 접근 방식은 복잡한 레이아웃에 어려움을 겪으며 종종 부정확한 답변을 제공합니다. 이러한 한계를 해결하기 위해, 우리는 반정형 테이블 QA를 위한 에이전트 기반 시스템인 ST-Raptor를 제안합니다. ST-Raptor는 시각적 편집, 트리 기반 구조 모델링 및 에이전트 기반 질의 해결을 결합한 대화형 분석 환경을 제공하여 정확하고 사용자 친화적인 테이블 이해를 지원합니다. 벤치마크 및 실제 데이터 세트에 대한 실험 결과는 ST-Raptor가 기존 방법보다 정확도와 사용 편의성 모두에서 우수한 성능을 발휘한다는 것을 보여줍니다. 코드는 https://github.com/weAIDB/ST-Raptor에서 확인할 수 있으며, 데모 영상은 https://youtu.be/9GDR-94Cau4에서 볼 수 있습니다.

Semi-structured table question answering (QA) is a challenging task that requires (1) precise extraction of cell contents and positions and (2) accurate recovery of key implicit logical structures, hierarchical relationships, and semantic associations encoded in table layouts. In practice, such tables are often interpreted manually by human experts, which is labor-intensive and time-consuming. However, automating this process remains difficult. Existing Text-to-SQL methods typically require converting semi-structured tables into structured formats, inevitably leading to information loss, while approaches like Text-to-Code and multimodal LLM-based QA struggle with complex layouts and often yield inaccurate answers. To address these limitations, we present ST-Raptor, an agentic system for semi-structured table QA. ST-Raptor offers an interactive analysis environment that combines visual editing, tree-based structural modeling, and agent-driven query resolution to support accurate and user-friendly table understanding. Experimental results on both benchmark and real-world datasets demonstrate that ST-Raptor outperforms existing methods in both accuracy and usability. The code is available at https://github.com/weAIDB/ST-Raptor, and a demonstration video is available at https://youtu.be/9GDR-94Cau4.