EEG-EditBench: 제어된 이미지 편집을 통해 뇌파-이미지 검색 모델에서 시각 정보의 역할을 탐색

EEG-EditBench: Probing Visual Information in EEG-Image Retrieval Models with Controlled Image Edits

최근 뇌파-이미지 검색 모델은 다양한 의미적 후보군으로부터 시청 이미지를 식별하는 데 뛰어난 성능을 보입니다. 하지만 이러한 성공은 어떤 시각 정보가 매칭에 기여하는지에 대한 정보를 제공하지 않습니다. 모델이 도구, 식물 및 차량 중에서 표범을 쉽게 식별할 수 있지만, 해당 장면에서 표범이 개로 대체된 경우에도 여전히 표범과 개를 구별할 수 있을까요? 이러한 질문에 답하기 위해, 객체 식별, 속성, 배경 및 객체의 존재를 제어적으로 변경하여 이러한 측면을 검사하는 진단 벤치마크인 EEG-EditBench를 소개합니다. 200 THINGS-EEG2 테스트 이미지를 기반으로 구축된 EEG-EditBench는 2,137개의 품질 관리된 편집 데이터로 구성되어 있으며, 8가지 대표적인 뇌파 시각 디코딩 모델을 평가합니다. 우리의 결과는 강력한 표준 검색 성능이 항상 편집 기반 평가로 이어지는 것은 아니며, 미세하게 조정된 속성 변경이 가장 큰 어려움을 야기한다는 것을 보여줍니다. EEG-EditBench는 집계 검색 정확도에 의해 숨겨진 모델의 동작을 드러내고, 뇌파-이미지 모델이 보존하는 시각 정보를 연구하기 위한 제어된 기반을 제공합니다. 코드와 전체 데이터셋은 공개적으로 이용 가능합니다.

Recent EEG-to-image retrieval models have achieved strong performance in identifying viewed images from semantically diverse candidates. Yet such success does not reveal what visual information supports the match. A model may readily identify a cheetah among tools, plants, and vehicles, but can it still distinguish the viewed cheetah from the same scene with the cheetah replaced by a dog? Motivated by this question, we introduce EEG-EditBench, a diagnostic benchmark that examines this question through controlled edits of object identity, attributes, background, and object presence. Built from the 200 THINGS-EEG2 test images, EEG-EditBench contains 2,137 quality-controlled edits and evaluates eight representative EEG visual decoding models. Our results show that strong standard retrieval does not consistently transfer to edit-based evaluation, with fine-grained attribute changes presenting the greatest challenge. EEG-EditBench reveals model behavior hidden by aggregate retrieval accuracy and provides a controlled basis for studying what visual information EEG-image models preserve. The code and complete dataset are publicly available.