AgentArk: 다중 에이전트 지능을 단일 LLM 에이전트로 증류

AgentArk: Distilling Multi-Agent Intelligence into a Single LLM Agent

대규모 언어 모델(LLM) 기반 다중 에이전트 시스템은 반복적인 토론을 통해 뛰어난 추론 성능을 달성하지만, 높은 계산 비용과 오류 전파로 인해 실제 적용에 어려움이 있습니다. 본 논문에서는 다중 에이전트의 역학을 단일 모델의 가중치로 증류하여, 명시적인 테스트 시간 상호 작용을 암묵적인 모델 기능으로 변환하는 새로운 프레임워크인 AgentArk를 제안합니다. 이를 통해 단일 에이전트는 다중 에이전트 시스템의 지능을 갖추면서도 계산 효율성을 유지할 수 있습니다. 구체적으로, 우리는 다양한 모델, 작업, 확장 및 시나리오에서 세 가지 계층적 증류 전략을 조사합니다: 추론 향상 미세 조정, 경로 기반 증강, 그리고 프로세스 인지 증류. 증류된 모델은 추론 부담을 추론 단계에서 학습 단계로 이동시켜, 단일 에이전트의 효율성을 유지하면서 다중 에이전트의 강력한 추론 및 자기 수정 성능을 나타냅니다. 또한, 다양한 추론 작업에서 향상된 견고성 및 일반화 성능을 보여줍니다. 본 연구가 효율적이고 견고한 다중 에이전트 개발에 대한 미래 연구에 기여할 수 있기를 바랍니다. 저희의 코드는 https://github.com/AIFrontierLab/AgentArk 에서 확인할 수 있습니다.

While large language model (LLM) multi-agent systems achieve superior reasoning performance through iterative debate, practical deployment is limited by their high computational cost and error propagation. This paper proposes AgentArk, a novel framework to distill multi-agent dynamics into the weights of a single model, effectively transforming explicit test-time interactions into implicit model capabilities. This equips a single agent with the intelligence of multi-agent systems while remaining computationally efficient. Specifically, we investigate three hierarchical distillation strategies across various models, tasks, scaling, and scenarios: reasoning-enhanced fine-tuning; trajectory-based augmentation; and process-aware distillation. By shifting the burden of computation from inference to training, the distilled models preserve the efficiency of one agent while exhibiting strong reasoning and self-correction performance of multiple agents. They further demonstrate enhanced robustness and generalization across diverse reasoning tasks. We hope this work can shed light on future research on efficient and robust multi-agent development. Our code is at https://github.com/AIFrontierLab/AgentArk.