MACReD: 반응 다이어그램 분석을 위한 다중 에이전트 협업 추론 프레임워크

MACReD: A Multi-Agent Collaborative Reasoning Framework for Reaction Diagram Parsing

과학 문헌에서 화학 반응 다이어그램을 분석하는 것은 이질적인 레이아웃, 복잡하게 얽힌 시각적 요소, 그리고 인식과 추론의 통합 어려움 때문에 매우 어려운 과제입니다. 기존의 비전-언어 모델은 다중 모드 이해에 상당한 발전을 이루었지만, 여전히 복잡한 다이어그램에서는 공간적 일관성을 유지하고 추론 과정에서 다차원 정보를 통합하는 데 어려움을 겪습니다. 이러한 문제를 해결하기 위해 우리는 분자 인식, 화살표 이해, 텍스트 추출 및 반응 재구성에 특화된 에이전트를 조정하는 계층적 다중 에이전트 프레임워크인 MACReD를 제안합니다. 계획 및 인식 레이어는 시각적 복잡성을 처리하기 위해 유연하고 세밀한 감지 방식을 사용하며, 추론 레이어는 이종적인 정보를 통합하고 화학적으로 일관된 전역 추론을 강제하기 위해 멀티 그래프 융합 메커니즘을 사용합니다. RxnScribe 벤치마크에 대한 실험 결과, MACReD는 기존의 RxnScribe 모델보다 뛰어난 성능을 보이며, 엄격한 기준과 완화된 기준에서 각각 75.2% 및 84.6%의 F1 점수를 달성했습니다(RxnScribe baseline은 각각 69.1% 및 80.0%). 이러한 결과는 MACReD가 다양한 다이어그램 레이아웃, 특히 다단계 및 트리 구조 반응에 대해 견고한 성능을 보임을 보여줍니다.

Parsing chemical reaction diagrams from scientific literature is challenging due to heterogeneous layouts, intertwined visual elements, and the difficulty of integrating recognition and reasoning. Existing vision-language models advance multimodal understanding but still fail on complex diagrams, struggling to maintain spatial coherence and to integrate multidimensional information during reasoning. To address these issues, we propose MACReD, a hierarchical multi-agent framework that coordinates specialized agents for molecular perception, arrow understanding, text extraction, and reaction reconstruction within a unified VLM-guided architecture. The planning and perception layers use flexible, fine-grained detection to handle visual complexity, while the reasoning layer uses a multigraph fusion mechanism to integrate heterogeneous cues and enforce chemically consistent global reasoning. Experiments on the RxnScribe benchmark show that MACReD achieves state-of-the-art performance, with F1 scores of 75.2% and 84.6% under hard and soft match criteria, outperforming the RxnScribe baseline, which obtains 69.1% and 80.0%, respectively. These results demonstrate the robustness of MACReD across diverse diagram layouts, including multi-step and tree-structured reactions.