BioHiCL: MeSH 레이블을 활용한 계층적 다중 레이블 대비 학습을 이용한 생물 의학 검색

BioHiCL: Hierarchical Multi-Label Contrastive Learning for Biomedical Retrieval with MeSH Labels

효과적인 생물 의학 정보 검색은 도메인 의미론과 생물 의학 텍스트 간의 계층적 관계를 모델링하는 것을 필요로 합니다. 기존의 생물 의학 생성 검색 시스템은 일반적으로 단순한 이진 관련성 신호에 의존하여, 의미적 중복을 포착하는 데 한계가 있습니다. 본 연구에서는 계층적 MeSH 주석을 활용하여 다중 레이블 대비 학습에 대한 체계적인 지침을 제공하는 BioHiCL (Biomedical Retrieval with Hierarchical Multi-Label Contrastive Learning)을 제안합니다. BioHiCL-Base (0.1B) 및 BioHiCL-Large (0.3B) 모델은 생물 의학 검색, 문장 유사성 및 질문 응답 작업에서 유망한 성능을 보이며, 동시에 배포에 필요한 계산 효율성을 유지합니다.

Effective biomedical information retrieval requires modeling domain semantics and hierarchical relationships among biomedical texts. Existing biomedical generative retrievers build on coarse binary relevance signals, limiting their ability to capture semantic overlap. We propose BioHiCL (Biomedical Retrieval with Hierarchical Multi-Label Contrastive Learning), which leverages hierarchical MeSH annotations to provide structured supervision for multi-label contrastive learning. Our models, BioHiCL-Base (0.1B) and BioHiCL-Large (0.3B), achieve promising performance on biomedical retrieval, sentence similarity, and question answering tasks, while remaining computationally efficient for deployment.