MedCoG: 메타인지 조절을 통한 의료 추론에서의 LLM 추론 밀도 극대화

MedCoG: Maximizing LLM Inference Density in Medical Reasoning via Meta-Cognitive Regulation

거대 언어 모델(LLM)은 복잡한 의료 추론에서 강력한 잠재력을 보여주었으나, 추론 스케일링 법칙(inference scaling laws) 하에서 이득이 감소하는 문제에 직면해 있다. 기존 연구들은 다양한 유형의 지식으로 LLM을 증강하지만, 추가 비용이 얼마나 효과적으로 정확도 향상으로 이어지는지는 불분명하다. 본 논문에서는 LLM의 메타인지, 즉 자신의 지식 상태에 대한 자각이 추론 과정을 어떻게 조절할 수 있는지 탐구한다. 구체적으로, 우리는 지식 그래프(Knowledge Graph)를 활용한 의료 메타인지 에이전트인 MedCoG를 제안한다. MedCoG에서는 작업 복잡성, 익숙함, 지식 밀도에 대한 메타인지적 평가가 절차적, 일화적, 사실적 지식의 활용을 동적으로 조절한다. 이러한 LLM 중심의 온디맨드(on-demand) 추론은 (1) 무분별한 스케일링을 지양하여 비용을 절감하고, (2) 방해되는 지식을 걸러내어 정확도를 향상시킴으로써 스케일링 법칙을 완화하는 것을 목표로 한다. 이를 검증하기 위해, 우리는 스케일링 곡선을 경험적으로 특성화하고, 실제 비용 대비 이론적으로 유효한 비용의 비율로 정의되는 추론 효율성을 정량화하기 위해 '추론 밀도(inference density)'를 도입한다. 실험 결과, 5개의 고난이도 의료 벤치마크 세트에서 MedCoG의 효과와 효율성이 입증되었으며, 5.5배의 추론 밀도를 달성하였다. 또한, 오라클(Oracle) 연구는 메타인지 조절의 상당한 잠재력을 강조한다.

Large Language Models (LLMs) have shown strong potential in complex medical reasoning yet face diminishing gains under inference scaling laws. While existing studies augment LLMs with various knowledge types, it remains unclear how effectively the additional costs translate into accuracy. In this paper, we explore how meta-cognition of LLMs, i.e., their self-awareness of their own knowledge states, can regulate the reasoning process. Specifically, we propose MedCoG, a Medical Meta-Cognition Agent with Knowledge Graph, where the meta-cognitive assessments of task complexity, familiarity, and knowledge density dynamically regulate utilization of procedural, episodic, and factual knowledge. The LLM-centric on-demand reasoning aims to mitigate scaling laws by (1) reducing costs via avoiding indiscriminate scaling, (2) improving accuracy via filtering out distractive knowledge. To validate this, we empirically characterize the scaling curve and introduce inference density to quantify inference efficiency, defined as the ratio of theoretically effective cost to actual cost. Experiments demonstrate the effectiveness and efficiency of MedCoG on five hard sets of medical benchmarks, yielding 5.5x inference density. Furthermore, the Oracle study highlights the significant potential of meta-cognitive regulation.