지식 기반 심층 연구를 향하여: 프레임워크 및 벤치마크

Towards Knowledgeable Deep Research: Framework and Benchmark

심층 연구(Deep Research, DR)는 LLM 에이전트가 자율적으로 다단계 정보 검색, 처리 및 추론을 수행하여 종합적인 보고서를 생성하는 것을 의미합니다. 기존 연구가 주로 비정형 웹 콘텐츠에 집중하는 것과 달리, 더욱 도전적인 DR 과제는 견고한 데이터 기반을 제공하고, 정량적 계산을 용이하게 하며, 심층적인 분석을 가능하게 하기 위해 추가적으로 구조화된 지식을 활용해야 합니다. 본 논문에서는 이러한 새로운 과제를 지식 기반 심층 연구(Knowledgeable Deep Research, KDR)라고 정의하며, KDR 에이전트는 구조화된 지식과 비정형 지식을 모두 활용하여 보고서를 생성해야 합니다. 또한, 본 논문에서는 두 가지 유형의 지식에 대해 추론하고, 텍스트, 그림 및 표를 일관된 멀티모달 보고서로 통합하는 다중 에이전트 아키텍처인 하이브리드 지식 분석 프레임워크(Hybrid Knowledge Analysis, HKA)를 제안합니다. 핵심 설계 요소는 구조화된 지식 분석기로, 코딩 모델과 비전-언어 모델을 모두 활용하여 그림, 표 및 해당 인사이트를 생성합니다. 체계적인 평가를 지원하기 위해, 9개의 도메인을 포함하고, 41개의 전문가 수준 질문을 포함하며, 방대한 양의 구조화된 지식 리소스(예: 1,252개의 표)를 포함하는 KDR-Bench를 구축했습니다. 또한, 각 질문에 대한 주요 결론 및 핵심 사항을 주석으로 추가하고, 범용, 지식 중심 및 비전 강화 평가 지표를 포함한 세 가지 평가 지표 범주를 제안합니다. 실험 결과는 HKA가 범용 및 지식 중심 지표에서 기존의 대부분 DR 에이전트보다 우수한 성능을 보이며, 비전 강화 지표에서는 Gemini DR 에이전트까지 능가한다는 것을 보여주며, 이는 심층적이고 구조에 대한 이해가 있는 지식 분석에 있어 HKA의 효과성을 강조합니다. 마지막으로, 본 연구가 DR 에이전트의 구조화된 지식 분석에 대한 새로운 기반을 제공하고, 향후 멀티모달 DR 연구를 촉진하는 데 기여하기를 바랍니다.

Deep Research (DR) requires LLM agents to autonomously perform multi-step information seeking, processing, and reasoning to generate comprehensive reports. In contrast to existing studies that mainly focus on unstructured web content, a more challenging DR task should additionally utilize structured knowledge to provide a solid data foundation, facilitate quantitative computation, and lead to in-depth analyses. In this paper, we refer to this novel task as Knowledgeable Deep Research (KDR), which requires DR agents to generate reports with both structured and unstructured knowledge. Furthermore, we propose the Hybrid Knowledge Analysis framework (HKA), a multi-agent architecture that reasons over both kinds of knowledge and integrates the texts, figures, and tables into coherent multimodal reports. The key design is the Structured Knowledge Analyzer, which utilizes both coding and vision-language models to produce figures, tables, and corresponding insights. To support systematic evaluation, we construct KDR-Bench, which covers 9 domains, includes 41 expert-level questions, and incorporates a large number of structured knowledge resources (e.g., 1,252 tables). We further annotate the main conclusions and key points for each question and propose three categories of evaluation metrics including general-purpose, knowledge-centric, and vision-enhanced ones. Experimental results demonstrate that HKA consistently outperforms most existing DR agents on general-purpose and knowledge-centric metrics, and even surpasses the Gemini DR agent on vision-enhanced metrics, highlighting its effectiveness in deep, structure-aware knowledge analysis. Finally, we hope this work can serve as a new foundation for structured knowledge analysis in DR agents and facilitate future multimodal DR studies.