PaperOrchestra: 자동화된 AI 연구 논문 작성 시스템을 위한 멀티 에이전트 프레임워크

PaperOrchestra: A Multi-Agent Framework for Automated AI Research Paper Writing

비정형 연구 자료를 논문으로 합성하는 것은 AI 기반 과학적 발견에서 필수적이지만 아직 충분히 연구되지 않은 과제입니다. 기존의 자율 작문 시스템은 특정 실험 파이프라인에 엄격하게 연결되어 있으며, 피상적인 문헌 검토만 수행합니다. 본 연구에서는 자동화된 AI 연구 논문 작성을 위한 멀티 에이전트 프레임워크인 PaperOrchestra를 소개합니다. PaperOrchestra는 제약 없는 사전 작성 자료를 완벽한 LaTeX 논문으로 유연하게 변환하며, 포괄적인 문헌 합성 및 생성된 시각 자료(예: 그래프, 개념 다이어그램)를 포함합니다. 성능을 평가하기 위해, 200개의 최고 수준 AI 학회 논문에서 역추적된 원본 자료를 활용한 최초의 표준화된 벤치마크인 PaperWritingBench와 함께 포괄적인 자동 평가 도구를 제시합니다. 인간 평가 결과, PaperOrchestra는 기존의 자율 시스템보다 현저히 우수한 성능을 보였으며, 문헌 검토 품질에서 50%-68%, 전체 논문 품질에서 14%-38%의 절대적인 우위를 기록했습니다.

Synthesizing unstructured research materials into manuscripts is an essential yet under-explored challenge in AI-driven scientific discovery. Existing autonomous writers are rigidly coupled to specific experimental pipelines, and produce superficial literature reviews. We introduce PaperOrchestra, a multi-agent framework for automated AI research paper writing. It flexibly transforms unconstrained pre-writing materials into submission-ready LaTeX manuscripts, including comprehensive literature synthesis and generated visuals, such as plots and conceptual diagrams. To evaluate performance, we present PaperWritingBench, the first standardized benchmark of reverse-engineered raw materials from 200 top-tier AI conference papers, alongside a comprehensive suite of automated evaluators. In side-by-side human evaluations, PaperOrchestra significantly outperforms autonomous baselines, achieving an absolute win rate margin of 50%-68% in literature review quality, and 14%-38% in overall manuscript quality.