CodeMMR: 자연어, 코드, 이미지를 통합하여 통일된 검색을 가능하게 하는 모델

CodeMMR: Bridging Natural Language, Code, and Image for Unified Retrieval

코드 검색은 정보 검색(IR)의 한 분야로서 현대 소프트웨어 엔지니어링의 근간이 되며, 최근에는 LLM 기반 코딩의 신뢰성을 향상시키는 검색 증강 생성(RAG) 기술의 핵심 요소로 활용됩니다. 하지만 기존 코드 IR 모델은 주로 텍스트 중심적이며, 웹 인터페이스, 데이터 시각화, SVG, 회로도, UML과 같은 프로그래밍 산출물에 내재된 시각적 및 구조적 측면을 간과하는 경우가 많습니다. 이러한 간극을 해소하기 위해, 우리는 5가지 시각 영역, 8개의 프로그래밍 언어, 11개의 라이브러리에 걸쳐 다중 모드 코드 IR을 평가하는 최초의 종합 벤치마크인 MMCoIR을 소개하고, 광범위한 평가를 통해 이 과제의 어려움을 보여줍니다. 따라서, 우리는 자연어, 코드, 이미지를 instruction-based 다중 모드 정렬을 통해 공유된 의미 공간에 통합하는 통일된 검색 모델인 CodeMMR을 제안합니다. CodeMMR은 다양한 모드와 언어에 걸쳐 강력한 일반화 성능을 보여주며, UniIR, GME, VLM2Vec과 같은 경쟁 모델보다 평균 10점 높은 nDCG@10을 달성했습니다. 또한, CodeMMR을 RAG에 통합하면 새로운 코드 생성 작업에서 코드 생성의 정확성과 시각적 기반을 향상시켜, 차세대 지능형 프로그래밍 시스템의 핵심 기술로서 다중 모드 검색의 잠재력을 강조합니다. 데이터셋은 HuggingFace에서 제공됩니다.

Code search, framed as information retrieval (IR), underpins modern software engineering and increasingly powers retrieval-augmented generation (RAG), improving code discovery, reuse, and the reliability of LLM-based coding. Yet existing code IR models remain largely text-centric and often overlook the visual and structural aspects inherent in programming artifacts such as web interfaces, data visualizations, SVGs, schematic diagrams, and UML. To bridge this gap, we introduce MMCoIR, the first comprehensive benchmark for evaluating multimodal code IR across five visual domains, eight programming languages, eleven libraries, and show the challenge of the task through extensive evaluation. Therefore, we then propose CodeMMR, a unified retrieval model that jointly embeds natural language, code, and images into a shared semantic space through instruction-based multimodal alignment. CodeMMR achieves strong generalization across modalities and languages, outperforming competitive baselines (e.g., UniIR, GME, VLM2Vec) by an average of 10 points on nDCG@10. Moreover, integrating CodeMMR into RAG enhances code generation fidelity and visual grounding on unseen code generation tasks, underscoring the potential of multimodal retrieval as a core enabler for next-generation intelligent programming systems. Datasets are available at HuggingFace.