DataFactory: 고급 테이블 질의 응답을 위한 협업 멀티 에이전트 프레임워크

DataFactory: Collaborative Multi-Agent Framework for Advanced Table Question Answering

테이블 질의 응답(TableQA)은 구조화된 테이블 데이터를 자연어 인터페이스로 제공합니다. 그러나 기존의 대규모 언어 모델(LLM) 접근 방식은 다음과 같은 심각한 한계점을 가지고 있습니다. 데이터 처리 능력을 제한하는 컨텍스트 길이 제약, 답변의 신뢰성을 저해하는 환각 현상, 그리고 의미 관계 및 다중 단계 추론 시나리오에 어려움을 겪는 단일 에이전트 아키텍처입니다. 본 논문에서는 이러한 한계점을 해결하기 위해 전문화된 팀 협업과 자동화된 지식 변환을 통해 설계된 멀티 에이전트 프레임워크인 DataFactory를 소개합니다. 이 프레임워크는 ReAct 패러다임을 활용하여 추론을 조율하는 데이터 리더와 함께, 전용 데이터베이스 및 지식 그래프 팀으로 구성되어 있으며, 복잡한 질의를 구조화된 관계 추론 작업으로 체계적으로 분해합니다. 우리는 데이터-지식 그래프 변환을 함수 T:D x S x R -> G를 통해 형식화하고, 고정된 워크플로우 기반의 멀티 에이전트 시스템과 달리, 자연어 기반의 협의를 구현하여 에이전트 간의 유연한 의사소통과 적응적인 계획을 가능하게 하여 협업의 견고성을 향상시킵니다. 또한, 과거 패턴과 도메인 지식을 통합하는 컨텍스트 엔지니어링 전략을 적용하여 환각 현상을 줄이고 질의 정확도를 높입니다. TabFact, WikiTableQuestions, 및 FeTaQA 데이터셋에서 5개 공급업체의 8개의 LLM을 사용하여 실험한 결과, 일관된 성능 향상을 보였습니다. 제안하는 방법은 기준 모델 대비 TabFact에서 20.2%, WikiTQ에서 23.9%의 정확도 향상을 달성했으며, Cohen's d > 1의 유의미한 효과를 보였습니다. 팀 협업은 단일 팀 변형보다 더 우수한 성능을 보였습니다 (+5.5% TabFact, +14.4% WikiTQ, +17.1% FeTaQA ROUGE-2). 이 프레임워크는 멀티 에이전트 협업을 위한 설계 지침을 제공하며, 통합된 구조화된 질의 및 그래프 기반 지식 표현을 통해 기업 데이터 분석을 위한 실용적인 플랫폼을 제공합니다.

Table Question Answering (TableQA) enables natural language interaction with structured tabular data. However, existing large language model (LLM) approaches face critical limitations: context length constraints that restrict data handling capabilities, hallucination issues that compromise answer reliability, and single-agent architectures that struggle with complex reasoning scenarios involving semantic relationships and multi-hop logic. This paper introduces DataFactory, a multi-agent framework that addresses these limitations through specialized team coordination and automated knowledge transformation. The framework comprises a Data Leader employing the ReAct paradigm for reasoning orchestration, together with dedicated Database and Knowledge Graph teams, enabling the systematic decomposition of complex queries into structured and relational reasoning tasks. We formalize automated data-to-knowledge graph transformation via the mapping function T:D x S x R -> G, and implement natural language-based consultation that - unlike fixed workflow multi-agent systems - enables flexible inter-agent deliberation and adaptive planning to improve coordination robustness. We also apply context engineering strategies that integrate historical patterns and domain knowledge to reduce hallucinations and improve query accuracy. Across TabFact, WikiTableQuestions, and FeTaQA, using eight LLMs from five providers, results show consistent gains. Our approach improves accuracy by 20.2% (TabFact) and 23.9% (WikiTQ) over baselines, with significant effects (Cohen's d > 1). Team coordination also outperforms single-team variants (+5.5% TabFact, +14.4% WikiTQ, +17.1% FeTaQA ROUGE-2). The framework offers design guidelines for multi-agent collaboration and a practical platform for enterprise data analysis through integrated structured querying and graph-based knowledge representation.