비정형 텍스트에 대한 집계 질의: 벤치마크 및 에이전트 기반 방법

Aggregation Queries over Unstructured Text: Benchmark and Agentic Method

자유 텍스트(free text)에 대한 집계 질의는 오랫동안 존재해 왔으나 충분히 연구되지 않은 문제입니다. 일반적인 질의응답과 달리, 집계 질의는 철저한 증거 수집을 필요로 하며, 시스템은 단순히 "하나를 찾는 것"이 아니라 "모두를 찾는 것"이 요구됩니다. Text-to-SQL이나 검색 증강 생성(RAG)과 같은 기존 패러다임은 이러한 완전성을 달성하지 못합니다. 본 연구에서는 엄격한 완전성 요구사항이 있는 코퍼스 제한 환경에서 텍스트에 대한 개체 수준의 집계 질의를 정형화합니다. 원칙적인 평가를 가능하게 하기 위해, 현실적인 대규모 코퍼스 환경에서 완전성 중심의 집계를 평가하도록 설계된 벤치마크인 AGGBench를 소개합니다. 벤치마크와 함께, 집계 질의를 해석 가능한 단계로 분해하고 모호성, 필터링, 집계와 관련된 주요 실패 요인을 드러내는 모듈식 에이전트 기반 베이스라인인 DFA(Disambiguation--Filtering--Aggregation)를 제안합니다. 실증적 결과에 따르면, DFA는 강력한 RAG 및 에이전트 베이스라인에 비해 집계 증거 커버리지를 일관되게 향상시키는 것으로 나타났습니다. 데이터와 코드는 https://anonymous.4open.science/r/DFA-A4C1 에서 확인할 수 있습니다.

Aggregation query over free text is a long-standing yet underexplored problem. Unlike ordinary question answering, aggregate queries require exhaustive evidence collection and systems are required to "find all," not merely "find one." Existing paradigms such as Text-to-SQL and Retrieval-Augmented Generation fail to achieve this completeness. In this work, we formalize entity-level aggregation querying over text in a corpus-bounded setting with strict completeness requirement. To enable principled evaluation, we introduce AGGBench, a benchmark designed to evaluate completeness-oriented aggregation under realistic large-scale corpus. To accompany the benchmark, we propose DFA (Disambiguation--Filtering--Aggregation), a modular agentic baseline that decomposes aggregation querying into interpretable stages and exposes key failure modes related to ambiguity, filtering, and aggregation. Empirical results show that DFA consistently improves aggregation evidence coverage over strong RAG and agentic baselines. The data and code are available in https://anonymous.4open.science/r/DFA-A4C1.