CORE-Seg: 강화 학습을 이용한 추론 기반 복잡한 병변 분할

CORE-Seg: Reasoning-Driven Segmentation for Complex Lesions via Reinforcement Learning

의료 영상 분할은 기존의 시각적 패턴 매칭에서 인지적 추론 분석으로 패러다임이 전환되고 있습니다. 다중 모달 대규모 언어 모델(MLLM)은 언어적 및 시각적 지식을 통합하는 데 유망한 결과를 보여주었지만, 여전히 중요한 격차가 존재합니다. 기존의 일반적인 MLLM은 폭넓은 상식을 가지고 있지만, 복잡한 병변에 필요한 특수한 시각적 추론 능력은 부족하며, 기존의 분할 모델은 픽셀 단위의 분할에는 뛰어나지만 논리적 해석 가능성이 부족합니다. 본 논문에서는 추론 기반의 복잡한 병변 분할을 위한 최초의 다양한 Chain-of-Thought(CoT) 벤치마크인 ComLesion-14K를 소개합니다. 이러한 작업을 수행하기 위해, 우리는 의미 기반 프롬프트 어댑터를 통해 추론과 분할을 통합하는 엔드-투-엔드 프레임워크인 CORE-Seg를 제안합니다. 우리는 SFT에서 GRPO로 진행되는 점진적인 학습 전략을 설계했으며, 보상 희소성을 완화하기 위해 적응형 이중 수준 보상 메커니즘을 갖추었습니다. 제안하는 방법은 평균 Dice 계수가 37.06%로, 최첨단 결과를 달성했으며(두 번째로 좋은 기준 모델보다 14.89% 높음), 실패율을 18.42%로 줄였습니다. 프로젝트 페이지: https://xyxl024.github.io/CORE-Seg.github.io/

Medical image segmentation is undergoing a paradigm shift from conventional visual pattern matching to cognitive reasoning analysis. Although Multimodal Large Language Models (MLLMs) have shown promise in integrating linguistic and visual knowledge, significant gaps remain: existing general MLLMs possess broad common sense but lack the specialized visual reasoning required for complex lesions, whereas traditional segmentation models excel at pixel-level segmentation but lack logical interpretability. In this paper, we introduce ComLesion-14K, the first diverse Chain-of-Thought (CoT) benchmark for reasoning-driven complex lesion segmentation. To accomplish this task, we propose CORE-Seg, an end-to-end framework integrating reasoning with segmentation through a Semantic-Guided Prompt Adapter. We design a progressive training strategy from SFT to GRPO, equipped with an adaptive dual-granularity reward mechanism to mitigate reward sparsity. Our Method achieves state-of-the-art results with a mean Dice of 37.06\% (14.89\% higher than the second-best baseline), while reducing the failure rate to 18.42\%. Project Page: https://xyxl024.github.io/CORE-Seg.github.io/