AutoHealth: 자율 건강 데이터 모델링을 위한 불확실성 인식 다중 에이전트 시스템

AutoHealth: An Uncertainty-Aware Multi-Agent System for Autonomous Health Data Modeling

LLM 기반 에이전트들은 자율 기계 학습 분야에서 강력한 잠재력을 보여주었으나, 건강 데이터에 대한 적용 가능성은 여전히 제한적입니다. 기존 시스템들은 이질적인 건강 데이터 모달리티 전반에 걸쳐 일반화하는 데 어려움을 겪고, 과업별 목표에 대한 적응이 부족한 채 사전에 정의된 솔루션 템플릿에 지나치게 의존하며, 헬스케어 분야의 신뢰할 수 있는 의사결정에 필수적인 불확실성 추정을 대부분 간과하고 있습니다. 이러한 문제들을 해결하기 위해, 우리는 건강 데이터를 자율적으로 모델링하고 모델의 신뢰성을 평가하는 새로운 불확실성 인식 다중 에이전트 시스템인 AutoHealth를 제안합니다. AutoHealth는 다섯 개의 특화된 에이전트 간의 폐루프 조정을 통해 데이터 탐색, 과업 조건부 모델 구축, 학습 및 최적화를 수행하며, 예측 성능과 불확실성 정량화를 동시에 최우선으로 고려합니다. 이 시스템은 즉시 사용 가능한 모델을 생성하는 것을 넘어, 신뢰할 수 있는 해석과 위험을 고려한 의사결정을 지원하기 위해 포괄적인 보고서를 생성합니다. 그 유효성을 엄격하게 평가하기 위해, 우리는 다양한 데이터 모달리티와 학습 환경에 걸친 17개 과업으로 구성된 고난도 실제 벤치마크를 구축했습니다. AutoHealth는 모든 과업을 완수했으며, 최신 베이스라인 모델 대비 예측 성능에서 29.2%, 불확실성 추정에서 50.2% 더 우수한 성능을 기록했습니다.

LLM-based agents have demonstrated strong potential for autonomous machine learning, yet their applicability to health data remains limited. Existing systems often struggle to generalize across heterogeneous health data modalities, rely heavily on predefined solution templates with insufficient adaptation to task-specific objectives, and largely overlook uncertainty estimation, which is essential for reliable decision-making in healthcare. To address these challenges, we propose \textit{AutoHealth}, a novel uncertainty-aware multi-agent system that autonomously models health data and assesses model reliability. \textit{AutoHealth} employs closed-loop coordination among five specialized agents to perform data exploration, task-conditioned model construction, training, and optimization, while jointly prioritizing predictive performance and uncertainty quantification. Beyond producing ready-to-use models, the system generates comprehensive reports to support trustworthy interpretation and risk-aware decision-making. To rigorously evaluate its effectiveness, we curate a challenging real-world benchmark comprising 17 tasks across diverse data modalities and learning settings. \textit{AutoHealth} completes all tasks and outperforms state-of-the-art baselines by 29.2\% in prediction performance and 50.2\% in uncertainty estimation.