AutoSynthesis: 자동 메타 분석을 위한 지능형 시스템

AutoSynthesis: An agentic system for automated meta-analysis

증거 종합은 과학, 의학, 교육 및 정책 분야에서 기초 연구를 신뢰할 수 있는 지식으로 전환하는 데 매우 중요합니다. 그러나 양적 증거 종합은 여전히 대부분 수동으로 진행되며 확장하기 어렵습니다. 본 논문에서는 자동 메타 분석을 위한 완전한 통합 다중 에이전트 시스템인 AutoSynthesis를 소개합니다. AutoSynthesis는 자연어로 제시된 연구 질문을 기반으로 검색 전략을 수립하고, 과학 문헌을 검색하며, 후보 연구를 검토하고, 전체 텍스트의 적합성을 평가하고, 양적 통계치를 추출하고, 표준화된 효과 크기를 계산한 후, 최종적으로 무작위 효과 메타 분석을 수행합니다. AutoSynthesis는 또한 효과 크기가 조절 변수에 따라 어떻게 달라지는지 분석하는 이질성 분석 및 편향 위험 평가 기능을 지원합니다. 결과로 AutoSynthesis는 PRISMA 지침에 따른 투명한 보고서를 생성합니다. 실제 적용에서 AutoSynthesis는 28편 이상의 연구를 검토하고 20편 이상의 양적 주장을 추출했습니다. AutoSynthesis가 생성하는 통합 효과 추정치는 전문가가 수행한 메타 분석의 Hedges' $g$ 값과 유사하여 수동 증거 종합과의 높은 일치성을 나타냅니다. 이러한 결과들을 종합적으로 고려할 때, AutoSynthesis는 양적 증거 종합을 더욱 확장 가능하게 만들어 다양한 분야에서 근거 기반 의사 결정을 지원할 수 있습니다.

Evidence synthesis is crucial for turning primary research into reliable knowledge for science, medicine, education, and policy. Yet, quantitative evidence synthesis remains largely manual and difficult to scale. Here, we introduce AutoSynthesis, an end-to-end multi-agent system for automated meta-analysis. Given a research question in natural language, AutoSynthesis formulates a search strategy, retrieves scientific literature, screens candidate studies, assesses full-text eligibility, extracts quantitative statistics, computes standardized effect sizes, and finally performs random-effects meta-analysis. AutoSynthesis further supports heterogeneity analysis to examine how effect sizes vary across moderators, as well as risk-of-bias assessment. As output, AutoSynthesis produces a transparent report aligned with PRISMA guidelines. In our application, AutoSynthesis screened over 28 studies and extracted more than 20 quantitative claims. The pooled effect estimates produced by AutoSynthesis are similar to Hedges' $g$ of expert-conducted meta-analyses, indicating close agreement with manual evidence synthesis. Together, these results show that AutoSynthesis can make quantitative evidence synthesis more scalable, thereby supporting evidence-based decision-making across disciplines.