신뢰성 있는 염색 전이 연구: 다중 모드 전문가 지향 평가 기반의 반복적 데이터-모델 공동 최적화 프레임워크

Towards Reliable Stain Transfer: An Iterative Data-Model Co-Optimization Framework Based on Multimodal Expert-Guided Assessment

조직병리학 검사는 주로 헤마톡실린 및 에오신(H&E) 염색과 면역조직화학(IHC) 염색에 의존합니다. IHC는 중요한 분자 정보를 제공하지만, 비용이 많이 들고 전문적인 지식이 필요합니다. 염색 전이는 H&E 이미지를 기반으로 IHC 이미지를 계산적으로 생성하여 효율적인 대안을 제공하지만, 픽셀 정렬이 맞지 않는 상태에서 다양한 바이오마커에 대한 통합적이고 해석 가능한 모델링이라는 과제를 안고 있습니다. 본 연구에서는 염색 전이를 위한 새로운 데이터-모델 공동 최적화 프레임워크인 DMCoStain을 제안합니다. DMCoStain은 반복적으로 훈련 데이터를 개선하고 모델의 성능을 향상시켜, 조직학적 및 구조적 일관성을 유지하면서 염색 정확도와 해석 가능성을 높입니다. 임상적으로 의미 있는 방식으로 훈련 데이터를 개선하기 위해, 본 연구는 병리학자의 추론을 모방하는 선구적인 IHC 양성 발현(IPE) 비전-언어 모델(VLM)에 기반한 다중 모드 전문가 지향 정교 선택(MEGFS) 전략을 도입했습니다. MEGFS를 지원하기 위해, 15만 개의 질의응답(VQA) 샘플로 구성된 최초의 대규모 IPE instruction-following 데이터셋인 ImmunoInstruction을 구축했습니다. 다양한 조직 및 바이오마커에 대한 광범위한 실험 결과, DMCoStain은 최고 수준(SOTA)의 정확도를 달성하는 것으로 나타났습니다. 이러한 접근 방식은 실질적인 가치를 제공하며, MEGFS는 향후 모델 개발을 위한 특화된 평가 도구로도 활용될 수 있습니다. 데이터셋, 코드 및 자세한 내용은 https://github.com/SikangSHU/DMCoStain에서 확인할 수 있습니다.

Histopathological examination primarily relies on hematoxylin and eosin (H&E) and immunohistochemistry (IHC) staining. Although IHC provides critical molecular information, it is costly and requires specialized expertise. Stain transfer provides an efficient alternative by computationally generating IHC from H&E images, but remains challenged by unified and interpretable modeling for heterogeneous biomarkers under pixel-unaligned supervision. We propose DMCoStain, a novel Data-Model Co-optimization framework for Stain transfer. It iteratively co-refines training data and model capability, improving staining accuracy and interpretability in both pathological and structural consistency. To refine training data in a clinically meaningful manner, it incorporates the Multimodal Expert-Guided Finer Selection (MEGFS) strategy, built upon a pioneering IHC-positive-expression (IPE) vision-language model (VLM) that emulates pathologist reasoning. To support MEGFS, we construct ImmunoInstruction, the first large-scale IPE instruction-following dataset with 150K VQA samples. Extensive experiments on multiple tissues and biomarkers demonstrate that DMCoStain achieves state-of-the-art (SOTA) accuracy. This paradigm offers strong practical value, and MEGFS also functions as a specialized evaluation tool for future model development. Dataset, code, and more details are in https://github.com/SikangSHU/DMCoStain.