다중 모드 대규모 언어 모델의 진단 분류 능력 평가: 골관절 이니셔티브 연구에서 얻은 통찰

Evaluating the Diagnostic Classification Ability of Multimodal Large Language Models: Insights from the Osteoarthritis Initiative

다중 모드 대규모 언어 모델(MLLM)은 의료 영상 질의응답(VQA) 및 보고서 생성 분야에서 유망한 성능을 보여주지만, 이러한 생성 및 설명 능력은 질병별 분류 작업으로 신뢰성 있게 이전되지 않습니다. 본 연구에서는 기존의 의료 MLLM 벤치마크에서 과소 대표되는 무릎 골관절염(OA) 엑스레이 분류 작업에 MLLM 아키텍처를 평가했습니다. 전 세계적으로 약 3억~4억 명에게 영향을 미치는 무릎 골관절염을 대상으로, 시각 인코더, 연결 모듈, 그리고 대규모 언어 모델(LLM)을 다양한 학습 전략을 통해 체계적으로 조작하는 ablation 연구를 수행하여 각 구성 요소가 진단 정확도에 미치는 영향을 측정했습니다. 분류 작업에서, 훈련된 시각 인코더만으로도 전체 MLLM 파이프라인보다 높은 분류 정확도를 달성했으며, LLM을 fine-tuning하는 것은 프롬프트 기반 지침보다 의미 있는 개선을 가져오지 못했습니다. 또한, 작은 규모의 균형 잡힌 데이터셋(500장)에 대한 LoRA fine-tuning이 훨씬 큰 규모이지만 클래스 불균형이 심한 데이터셋(5,778장)으로 학습하는 것보다 더 나은 결과를 보여주었는데, 이는 데이터의 균형과 품질이 이 작업에서 데이터 규모보다 더 중요할 수 있음을 시사합니다. 이러한 결과는 특정 의료 분야의 분류 작업에서 LLM이 주로 해석 및 보고서 생성 도구로 더 효과적이며, 1차 분류기로는 적합하지 않을 수 있다는 점을 시사합니다. 따라서, 높은 수준의 확신이 요구되는 의료 영상 진단 분류 작업에는 MLLM 아키텍처가 덜 적합할 수 있습니다. 임상적으로 적용 가능한 시스템을 개발할 때에는 시각 인코더 최적화와 신중한 데이터셋 구축에 우선순위를 두는 것이 좋습니다.

Multimodal large language models (MLLMs) show promising performance on medical visual question answering (VQA) and report generation, but these generation and explanation abilities do not reliably transfer to disease-specific classification. We evaluated MLLM architectures on knee osteoarthritis (OA) radiograph classification, which remains underrepresented in existing medical MLLM benchmarks, even though knee OA affects an estimated 300 to 400 million people worldwide. Through systematic ablation studies manipulating the vision encoder, the connector, and the large language model (LLM) across diverse training strategies, we measured each component's contribution to diagnostic accuracy. In our classification task, a trained vision encoder alone could outperform full MLLM pipelines in classification accuracy and fine-tuning the LLM provided no meaningful improvement over prompt-based guidance. And LoRA fine-tuning on a small, class-balanced dataset (500 images) gave better results than training on a much larger but class-imbalanced set (5,778 images), indicating that data balance and quality can matter more than raw scale for this task. These findings suggest that for domain-specific medical classification, LLMs are more effective as interpreters and report generators rather than as primary classifiers. Therefore, the MLLM architecture appears less suitable for medical image diagnostic classification tasks that demand high certainty. We recommend prioritizing vision encoder optimization and careful dataset curation when developing clinically applicable systems.