교차 기관 적용 가능한 피부 질환 이미지 진단을 위한 개방형 언어 기반 통합 개념 학습

Open-Linguistic Concept Unified Learning for Cross-Site Interpretable Dermatology Image Diagnosis

사람이 이해할 수 있는 컴퓨터 지원 진단은 임상 의사 결정에 매우 중요합니다. 개념 기반 모델은 투명한 추론을 제공하고, 사후적으로 의료 전문가가 개입할 수 있도록 하여 뛰어난 성능을 보입니다. 그러나 이러한 모델은 특정 데이터셋에 맞춰져 있어 기관 간 일반화 능력이 제한적입니다. 다양한 모달리티(예: 피부 현미경 사진 및 임상 사진)에 적용하는 것은 각 코호트마다 가용성, 세분화 수준 및 의미가 다른 이질적인 개념 분류 체계로 인해 어렵습니다. 결과적으로, 기반 시각-언어 모델(FVLM)을 활용하려면 비용이 많이 드는 레이블 엔지니어링과 반복적인 추가 훈련이 필요합니다. 기존의 개입 메커니즘은 미리 정의된 개념에 고정되어 있어 유연성이 부족하고 확장 가능한 피부 질환 CAD 시스템 구축을 방해합니다. 이러한 문제점을 해결하기 위해, 우리는 다중 모달리티 해석 가능 시각-언어 진단을 위한 개방형 언어 기반 통합 개념 학습 프레임워크인 UniCon을 제안합니다. UniCon은 다음과 같은 세 가지 주요 기여를 통해 이러한 문제를 해결합니다: (1) 통합된 개념 프로토타입 코드북을 사용하여 다양한 모달리티 간의 이질적인 개념 시스템을 데이터셋별 재학습 없이 원활하게 연결하는 공유 의미 표현 공간을 구축합니다. (2) 희소한 텍스트 레이블의 한계를 극복하고 불확실한 임상 환경에서 경계 감도를 향상시키는 다각적인 의미 사양을 기반으로 하는 개방형 언어 방식을 적용합니다. (3) 신뢰도 기반 병목 현상 집계를 통해 강력하고 기관 간 조정 가능한 개입 인터페이스를 제공하여 일관된 추론과 전송 가능한 의료 전문가의 수정이 가능하도록 합니다. 광범위한 실험 결과, UniCon은 최상위 수준의 진단 정확도를 달성할 뿐만 아니라 다양한 임상 분류 체계 간의 격차를 해소하고 전례 없는 기관 간 개입 기능을 제공하는 것으로 나타났습니다. 코드: https://github.com/wuchengyu123/UniCon

Human-interpretable computer-aided diagnosis is crucial for clinical decision making. Concept-based models excel by providing transparent reasoning and enabling post-hoc, clinician-in-the-loop interventions. However, their rigid dataset-specific adaptation inherently restricts cross-site generalization. Applying them across diverse modalities, such as dermoscopic and clinical photographs, is challenging due to heterogeneous concept taxonomies varying in availability, granularity, and semantics across cohorts. Consequently, adapting Foundation Vision-Language Models (FVLMs) demands costly label engineering and repeated post-training. Existing intervention mechanisms remain rigidly tied to predefined concepts, lacking adaptability and hindering scalable dermatology CAD deployment. To address these bottlenecks, we propose UniCon, an open-linguistic unified concept learning framework for multimodal interpretable vision-language diagnosis. UniCon resolves these challenges through three contributions: (1) A shared semantic representation space via a unified concept prototype codebook, seamlessly coordinating heterogeneous concept systems across modalities without dataset-specific retraining. (2) Open-linguistic based multi-faceted semantic specifications to overcome sparse textual label limitations, improving boundary sensitivity in uncertain clinical contexts. (3) A robust, cross-site adjustable intervention interface powered by reliability-gated bottleneck aggregation, enabling consistent reasoning and transferable clinician corrections. Extensive experiments demonstrate that beyond securing top-tier diagnostic accuracy, UniCon successfully bridges disparate clinical taxonomies, unlocking unprecedented cross-site intervention capabilities. Code is available at https://github.com/wuchengyu123/UniCon.