OfficeQA Pro: 엔드 투 엔드 기반 추론을 위한 기업용 벤치마크

OfficeQA Pro: An Enterprise Benchmark for End-to-End Grounded Reasoning

본 논문에서는 OfficeQA Pro를 소개합니다. OfficeQA Pro는 대규모이고 이질적인 문서 코퍼스를 기반으로 한, AI 에이전트의 기반 추론 능력을 평가하기 위한 벤치마크입니다. 이 코퍼스는 거의 100년에 걸친 미국 재무부 발표 자료로 구성되어 있으며, 89,000페이지와 26백만 개 이상의 숫자 값을 포함합니다. OfficeQA Pro는 정교한 문서 분석, 검색, 그리고 비정형 텍스트와 표 형식 데이터를 모두 활용한 분석적 추론 능력을 요구하는 133개의 질문으로 구성되어 있습니다. Claude Opus 4.6, GPT-5.4, 그리고 Gemini 3.1 Pro Preview와 같은 최첨단 LLM은 파라미터 지식에 의존할 때 OfficeQA Pro에서 5% 미만의 정확도를 보이며, 웹 접근 권한이 추가되더라도 12% 미만입니다. 문서 코퍼스를 직접 제공하더라도, 최첨단 에이전트는 여전히 질문의 절반 이상에서 어려움을 겪으며, 평균적으로 34.1%의 정확도를 기록합니다. Databricks의 ai_parse_document가 생성한 구조화된 문서 표현을 에이전트에 제공하면, 모든 에이전트의 상대적인 성능이 평균 16.1% 향상되는 것을 확인했습니다. 모델 선택, 테이블 표현, 검색 전략, 그리고 테스트 시간 스케일링이 성능에 미치는 영향을 분석하기 위한 추가적인 실험을 진행했습니다. 이러한 개선에도 불구하고, 에이전트가 기업 수준의 기반 추론에서 신뢰성을 갖추기 위해서는 여전히 많은 발전이 필요합니다.

We introduce OfficeQA Pro, a benchmark for evaluating AI agents on grounded, multi-document reasoning over a large and heterogeneous document corpus. The corpus consists of U.S. Treasury Bulletins spanning nearly 100 years, comprising 89,000 pages and over 26 million numerical values. OfficeQA Pro consists of 133 questions that require precise document parsing, retrieval, and analytical reasoning across both unstructured text and tabular data. Frontier LLMs including Claude Opus 4.6, GPT-5.4, and Gemini 3.1 Pro Preview achieve less than 5% accuracy on OfficeQA Pro when relying on parametric knowledge, and less than 12% with additional access to the web. When provided directly with the document corpus, frontier agents still struggle on over half of questions, scoring 34.1% on average. We find that providing agents with a structured document representation produced by Databricks' ai_parse_document yields a 16.1% average relative performance gain across agents. We conduct additional ablations to study the effects of model selection, table representation, retrieval strategy, and test-time scaling on performance. Despite these improvements, significant headroom remains before agents can be considered reliable at enterprise-grade grounded reasoning.