검증 가능한 다중 모드 심층 연구를 향하여: 인터리브된 보고서 생성을 위한 멀티 에이전트 시스템

Towards Verifiable Multimodal Deep Research: A Multi-Agent Harness for Interleaved Report Generation

대규모 언어 모델(LLM)은 심층 검색, 즉 간결하고 사실적인 답변을 제공하는 것에서부터 흩어진 증거들을 종합하여 장문의 보고서를 생성하는 심층 연구로 자율 에이전트의 기능을 발전시켰습니다. 그러나 검증 가능한 다중 모드 심층 연구는 여전히 어려운 과제이며, 이는 결정론적인 정답 없이 개방형 합성이 필요하고, 텍스트 논거와 시각적 증거를 함께 사용해야 하기 때문입니다. 본 연구에서는 인터리브된 보고서 생성을 위한 멀티 에이전트 시스템인 extsc{Ptah}를 제안합니다. extsc{Ptah}는 사용자 쿼리부터 생성된 웹 보고서까지의 전체 과정을 계획, 연구 및 작성 단계로 구성하며, 각 단계에서 특화된 에이전트들이 시각 정보를 고려한 계획을 수립하고, 주장에 대한 근거 증거를 수집하며, extit{시각 작업 메모리}에 소스 정보와 관련된 이미지를 유지하고, 선언적인 다중 모드 도구 사용을 통해 보고서를 작성합니다. 검증 에이전트는 시스템의 승인 함수 역할을 하며, 워크플로우 전체에서 사실 기반, 인용 정확성 및 상호 모달 일관성을 보장합니다. 또한, 이미지 수준 및 프레젠테이션 수준 평가를 기존 벤치마크에 추가하는 평가 프로토콜인 extsc{Ptah}Eval을 소개합니다. 심층 연구 벤치마크에서의 실험 결과, extsc{Ptah}는 강력한 기준 모델보다 더 신뢰할 수 있고 시각적으로 풍부하며 사용하기 쉬운 다중 모드 보고서를 생성한다는 것을 보여줍니다.

Large Language Models (LLMs) have advanced autonomous agents from deep search, which retrieves concise factual answers, to deep research, which synthesizes scattered evidence into long-form reports. However, verifiable multimodal deep research remains challenging due to open-ended synthesis without deterministic ground truth and the need to interleave textual arguments with visual evidence. We propose \textsc{Ptah}, a multi-agent harness for interleaved report generation. \textsc{Ptah} orchestrates the lifecycle from user query to rendered web report through planning, research, and writing stages, where specialized agents construct visual-aware plans, collect claim-grounded evidence, maintain source-aligned images in a \textit{Visual Working Memory}, and compose reports through declarative multimodal tool use. A verifier agent serves as the harness's acceptance function, enforcing factual grounding, citation fidelity, and cross-modal consistency throughout the workflow. We further introduce \textsc{Ptah}Eval, an evaluation protocol that augments existing benchmarks with image-level and presentation-level assessments. Experiments on deep research benchmarks show that \textsc{Ptah} produces more reliable, visually informative, and usable human-facing multimodal reports than strong baselines.