MM-IssueLoc: 다중 모드 리포지토리 수준의 문제 위치 추정을 평가하기 위한 제어된 벤치마크

MM-IssueLoc: A Controlled Benchmark for Evaluating Visual Evidence in Multimodal Repository-Level Issue Localization

실제 리포지토리 문제는 스크린샷, 오류 대화 상자, 렌더링된 UI 상태 및 로그와 같은 시각적 증거를 포함하는 경우가 많지만, 리포지토리 수준의 문제 위치 추정은 주로 텍스트만 사용하는 작업으로 평가됩니다. 기존의 다중 모드 소프트웨어 엔지니어링(SWE) 벤치마크는 종단 간 수정 작업을 평가하며, 이는 위치 추정을 패치 생성과 연결시켜 시각적 입력이 얼마나 도움이 되었는지, 방해가 되었는지, 아니면 무시되었는지 파악하기 어렵게 만듭니다. 본 논문에서는 다중 모드 리포지토리 수준의 위치 추정을 위한 제어된 벤치마크 및 평가 프로토콜인 **MM-IssueLoc**을 소개합니다. MM-IssueLoc은 23개 언어에 걸쳐 652개의 이슈-풀 요청(PR) 인스턴스를 포함하며, 7가지 이미지 범주와 4단계의 관련성 수준에 대한 주석이 제공됩니다. 파일 수준 및 함수 수준의 정답 레이블을 제공하고, 텍스트만 사용한 평가와 이미지와 함께 사용한 평가를 병행하며, 이미지를 구조화된 텍스트 증거로 변환하는 VCE(Visual Content Encoding) 기반 진단 도구를 포함합니다. LLM 기반 시스템과 검색 기반 시스템을 평가했으며, MM-IssueLoc-VL-Emb을 제어된 다중 모드 검색기로 사용했습니다. 결과는 기존 시스템이 여전히 신뢰할 수 있는 다중 모드 리포지토리 위치 추정을 수행하는 데 어려움이 있음을 보여줍니다. 가장 성능이 좋은 모델은 38.96의 파일 Acc@5와 22.45의 함수 Acc@10을 달성했으며, 가장 성능이 좋은 검색기는 33.86의 함수 Acc@10을 달성했습니다. 다른 벤치마크와의 비교 결과, 텍스트 중심의 SWE 벤치마크에서 높은 위치 추정 점수를 얻는 것이 다중 모드 이슈 위치 추정으로 직접적으로 이어지지 않는다는 것을 알 수 있습니다. MM-IssueLoc은 시각적 증거를 명시적인 평가 변수로 만들어 향후 연구자들이 시스템이 텍스트만 사용하는 단서에 의존하거나 다운스트림 패치 생성 효과에 기인하는 것이 아니라, 위치 추정을 위해 시각적 증거를 활용함으로써 성능을 향상시키는지 여부를 테스트할 수 있도록 합니다.

Real repository issues routinely include visual evidence such as screenshots, error dialogs, rendered UI states, and logs, yet repository-level issue localization is evaluated mostly as a text-only task. Existing multimodal SE benchmarks evaluate end-to-end repair, entangling localization with patch synthesis and obscuring whether visual input helped, hurt, or was ignored. We introduce \textbf{MM-IssueLoc}, a controlled benchmark and evaluation protocol for repository-level localization with visual evidence. MM-IssueLoc contains 652 issue-PR instances across 23 languages, with annotations for 7 image categories and 4 relevance levels. It provides file-level and function-level gold labels, paired text-only and with-image evaluation, and VCE-based diagnostics that convert images into structured textual evidence. We evaluate LLM-based and retrieval-based systems, including MM-IssueLoc-VL-Emb as a controlled multimodal retriever. Results show that existing systems remain far from reliable multimodal repository localization: the strongest agent reaches 38.96 file Acc@5 and 22.45 function Acc@10, while the strongest retriever reaches 33.86 function Acc@10. Cross-benchmark comparisons show that high localization scores on text-dominant SWE benchmarks do not transfer cleanly to multimodal issue localization. MM-IssueLoc turns visual evidence into an explicit evaluation variable, enabling future work to test whether systems improve by using visual evidence for localization, rather than by relying on text-only cues or downstream patch-generation effects.