OrchMAS: 다중 협력적 이종 과학 전문가 구조 에이전트를 활용한 통합 추론

OrchMAS: Orchestrated Reasoning with Multi Collaborative Heterogeneous Scientific Expert Structured Agents

다중 에이전트 대규모 언어 모델 프레임워크는 복잡한 다단계 추론에 유망하지만, 기존 시스템은 정적인 프롬프트 및 에이전트 역할, 경직된 워크플로우, 균일한 모델 의존성 등의 문제로 인해 과학 및 지식 집약적인 분야에서 성능이 미흡하며, 이는 도메인 적응력 저하, 제한적인 추론 유연성, 그리고 이종적이거나 장기적인 과학적 작업에서 높은 지연 시간으로 이어집니다. 또한, 중간 추론 과정에서 이전에 내린 결정이 변경되어야 할 때, 이러한 시스템은 어려움을 겪으며, 이는 구조화되고 계산 집약적인 환경에서 신뢰성을 떨어뜨립니다. 이러한 한계점을 극복하기 위해, 우리는 과학 분야에 특화된 대화형, 2단계 다중 모델 통합 프레임워크를 제안합니다. 전용 오케스트레이션 모델은 각 작업을 분석하고, 도메인 정보를 기반으로 동적으로 추론 파이프라인을 구성하며, 맞춤형 프롬프트를 갖춘 전문 에이전트를 생성합니다. 실행 모델은 생성된 역할 및 지침 사양에 따라 각 단계를 수행합니다. 오케스트레이터는 중간 피드백을 기반으로 파이프라인을 반복적으로 업데이트하여 동적인 재계획, 역할 재분배, 그리고 다중 턴 상호 작용을 통한 프롬프트 개선을 가능하게 합니다. 이를 통해 구조화된 이종 모델 협력을 통해 과학적 추론의 견고성과 전문성을 강화합니다. 이 프레임워크는 모델에 구애받지 않으며, 다양한 기능 또는 비용의 이종 LLM 통합을 지원하여, 실제 과학적 활용 환경에서 유연한 성능 효율성을 제공합니다. 실험 결과, 제안하는 프레임워크는 기존의 다중 에이전트 시스템 및 다양한 추론 및 과학적 스타일 벤치마크에서 일관된 성능 향상을 보여주었습니다.

Multi-agent large language model frameworks are promising for complex multi step reasoning, yet existing systems remain weak for scientific and knowledge intensive domains due to static prompts and agent roles, rigid workflows, and homogeneous model reliance, leading to poor domain adaptation, limited reasoning flexibility, and high latency on heterogeneous or long-horizon scientific tasks. They also struggle to revise earlier decisions when intermediate reasoning diverges, reducing reliability in structured and calculation heavy settings. To address these limitations, we propose a scientific domain oriented interactive two tier multi model orchestration framework. A dedicated orchestration model analyzes each task, dynamically constructs a domain aware reasoning pipeline, and instantiates specialized expert agents with tailored prompts, while an execution model performs each step under generated role and instruction specifications. The orchestrator iteratively updates the pipeline based on intermediate feedback, enabling dynamic replanning, role reallocation, and prompt refinement across multi turn interactions, strengthening robustness and specialization for scientific reasoning through structured heterogeneous model collaboration. The framework is model agnostic and supports heterogeneous LLM integration with different capacities or costs, enabling flexible performance efficiency trade offs in practical scientific deployments. Experiments show consistent improvements over existing multi agent systems and strong baselines across diverse reasoning and scientific style benchmarks.