차분 추론 학습을 통한 임상 에이전트의 추론 격차 해소

Closing Reasoning Gaps in Clinical Agents with Differential Reasoning Learning

임상 의사결정 지원은 정답뿐만 아니라 임상적으로 타당한 추론도 필요로 합니다. 우리는 추론 불일치로부터 학습하여 임상 에이전트를 개선하는 프레임워크인 차분 추론 학습(DRL)을 제안합니다. DRL은 참조 추론 근거(예: 의사가 작성한 임상 근거, 임상 가이드라인, 또는 더 뛰어난 모델의 출력)와 에이전트의 자유 형식 생각의 사슬(CoT)로부터 추론 그래프를 유향 비순환 그래프(DAG) 형태로 추출하고, 임상적 가중치가 적용된 그래프 편집 거리(GED) 기반의 불일치 분석을 수행합니다. 심판 모델(LLM-as-a-judge)이 의미적으로 동등한 노드를 정렬하고 그래프 간의 불일치를 진단합니다. 이러한 그래프 수준의 불일치 진단 결과는 자연어 지침으로 변환되어 차분 추론 지식 베이스(DR-KB)에 저장됩니다. 추론 시점에는 검색 증강 생성(RAG)을 통해 상위 k개의 지침을 검색하여 에이전트 프롬프트를 보강하고 발생 가능한 논리적 공백을 수정합니다. 공개 의료 질의응답(QA) 벤치마크와 내부 임상 데이터의 재방문 입원(RVA) 예측 작업에 대한 평가 결과, 베이스라인 대비 최종 답변의 정확도와 추론 충실도가 모두 향상되었음을 확인했습니다. 소거 연구를 통해 참조 추론 근거 주입과 상위 k개 검색 전략에 따른 성능 향상을 확인했습니다. 또한 임상 의사들의 출력물 검토 결과는 이 접근 방식의 유효성을 뒷받침합니다. 종합적으로 이러한 결과는 DRL이 복잡한 추론 시나리오에서 보다 신뢰할 수 있는 임상 의사결정을 지원하며, 제한된 토큰 예산 하에서의 배포를 위한 실용적인 메커니즘을 제공함을 시사합니다.

Clinical decision support requires not only correct answers but also clinically valid reasoning. We propose Differential Reasoning Learning (DRL), a framework that improves clinical agents by learning from reasoning discrepancies. From reference reasoning rationales (e.g., physician-authored clinical rationale, clinical guidelines, or outputs from more capable models) and the agent's free-form chain-of-thought (CoT), DRL extracts reasoning graphs as directed acyclic graphs (DAGs) and performs a clinically weighted graph edit distance (GED)-based discrepancy analysis. An LLM-as-a-judge aligns semantically equivalent nodes and diagnoses discrepancies between graphs. These graph-level discrepancy diagnostics are converted into natural-language instructions and stored in a Differential Reasoning Knowledge Base (DR-KB). At inference, we retrieve top-$k$ instructions via Retrieval-Augmented Generation (RAG) to augment the agent prompt and patch likely logic gaps. Evaluation on open medical question answering (QA) benchmarks and a Return Visit Admissions (RVA) prediction task from internal clinical data demonstrates gains over baselines, improving both final-answer accuracy and reasoning fidelity. Ablation studies confirm gains from infusing reference reasoning rationales and the top-$k$ retrieval strategy. Clinicians' review of the output provides further assurance of the approach. Together, results suggest that DRL supports more reliable clinical decision-making in complex reasoning scenarios and offers a practical mechanism for deployment under limited token budgets.