OpenHospital: LLM 기반 집단 지능의 진화 및 벤치마킹을 위한 독립적인 환경

OpenHospital: A Thing-in-itself Arena for Evolving and Benchmarking LLM-based Collective Intelligence

LLM(대규모 언어 모델) 기반 집단 지능(CI)은 데이터 부족 문제를 해결하고 LLM 에이전트의 기능을 지속적으로 향상시키는 유망한 접근 방식입니다. 그러나 현재 LLM 기반 CI의 진화 및 벤치마킹을 위한 전용 환경은 존재하지 않습니다. 이러한 격차를 해소하기 위해, 우리는 OpenHospital을 소개합니다. OpenHospital은 의사 에이전트가 환자 에이전트와의 상호 작용을 통해 CI를 발전시킬 수 있는 대화형 환경입니다. 이 환경은 에이전트 자체에 데이터를 내장하는 방식을 사용하여 에이전트의 기능을 빠르게 향상시키고, 의료 전문성과 시스템 효율성을 모두 평가할 수 있는 강력한 지표를 제공합니다. 실험 결과는 OpenHospital이 CI를 촉진하고 정량화하는 데 효과적임을 보여줍니다.

Large Language Model (LLM)-based Collective Intelligence (CI) presents a promising approach to overcoming the data wall and continuously boosting the capabilities of LLM agents. However, there is currently no dedicated arena for evolving and benchmarking LLM-based CI. To address this gap, we introduce OpenHospital, an interactive arena where physician agents can evolve CI through interactions with patient agents. This arena employs a data-in-agent-self paradigm that rapidly enhances agent capabilities and provides robust evaluation metrics for benchmarking both medical proficiency and system efficiency. Experiments demonstrate the effectiveness of OpenHospital in both fostering and quantifying CI.