실패 사례가 드러내는 지표의 한계: ECG 분류기 반복 개선을 위한 증거 기반 에이전트

Failures Reveal What Metrics Miss: An Evidence-Driven Agent for Recursive Refinement of ECG Classifiers

심층 학습 모델은 12극 심전도(ECG) 분류 분야에서 상당한 발전을 이루었지만, 여전히 모델 개선에는 인간 전문가의 개입이 필수적이며, 실패 사례를 검토하고 분류기 설계를 반복적으로 수정하는 과정이 필요합니다. 최근 LLM 기반 에이전트는 자동화된 모델 설계 가능성을 보여주었지만, 집계 성능 지표만으로 안내받을 경우, 개별 사례가 왜 실패하는지, 그리고 분류기를 어떻게 개선해야 하는지에 대한 통찰력이 부족합니다. 본 연구에서는 RecursiveECG라는 증거 기반 LLM-as-Designer 프레임워크를 제안합니다. 이 프레임워크에서 LLM은 오프라인 모델 설계자로 작동하며, 구체적인 실패 사례와 객관적인 ECG 데이터를 기반으로 ECG 분류기를 개선합니다. 실행 가능한 증거를 통해 실패 진단을 수행하기 위해, Criteria-to-Measurement Compilation은 선별된 ECG 기준을 검증된 결정론적 함수로 변환하여 개별 ECG에 대한 재현 가능하고 신뢰할 수 있는 측정값을 생성합니다. 이러한 측정값을 바탕으로, Evidence-Grounded Failure Review는 원시 파형, 측정값 및 모델 출력을 함께 고려하여 실패한 사례와 비교 사례를 분석함으로써 LLM이 분류기의 한계를 진단하고 목표 지향적인 수정 사항을 제안하도록 합니다. 후보 수정 사항은 고정된 문제 계약 하에서 실행되고 재평가되며, 증거로 뒷받침되는 업데이트만 유지됩니다. 결과적으로 개선된 예측 모델은 배포 중에 LLM 추론이 필요 없으며, 감사 내역은 각 수락된 수정 사항을 지원하는 증거와 연결합니다. PTB-XL, Georgia 및 CPSC2018 데이터셋에서 RecursiveECG는 강력한 기준 모델보다 꾸준히 우수한 성능을 보이며, 평균 10.0%의 상대적 성능 향상을 달성했습니다. 광범위한 제거(ablation) 연구 및 전이(transfer) 연구를 통해 증거 기반 개선 프로세스의 효과가 추가적으로 검증되었습니다.

Deep models have substantially advanced 12-lead ECG classification, yet their refinement still relies heavily on human experts to inspect failures and iteratively revise classifier designs. Recent LLM-based agents have demonstrated the potential for automated model design, but when guided only by aggregate performance metrics, they lack insight into why individual cases fail and how the classifier should be revised. We present RecursiveECG, an evidence-driven LLM-as-Designer framework in which an LLM serves as an offline model designer that refines ECG classifiers based on concrete failures and objective ECG evidence. To ground failure diagnosis in executable evidence, Criteria-to-Measurement Compilation converts curated ECG criteria into validated deterministic functions that produce reproducible, reference-backed measurements for individual ECGs. Building on these measurements, Evidence-Grounded Failure Review analyzes failed and comparator cases by jointly considering raw waveforms, measurements, and model outputs, enabling the LLM to diagnose classifier limitations and formulate targeted revisions. Candidate revisions are executed and re-evaluated under a fixed problem contract, and only evidence-supported updates are retained. The resulting predictor is frozen after refinement and requires no LLM inference during deployment, while an audit trail links each accepted revision to its supporting evidence. Across PTB-XL, Georgia, and CPSC2018, RecursiveECG consistently outperforms strong baselines, achieving an average relative improvement of 10.0%. Extensive ablation and transfer studies further validate the effectiveness of its evidence-grounded refinement process.