활성화에서 특이성으로: 인간 두뇌의 시각적 표현에 대한 반사실 테스트를 자동화하는 방법

From Activation to Specificity: Automating Counterfactual Testing of Visual Representations in the Human Brain

인간 두뇌에서 특정 시각적 개념을 담당하는 영역을 식별하는 것은 신경과학 분야의 핵심 과제입니다. 기존 연구에서는 활성화 최적화를 통해 대략적인 기능 영역(예: 얼굴, 장소)을 찾아왔는데, 이는 특정 개념에 대해 강하게 활성화되는 영역을 의미합니다. 그러나 단순히 강한 활성화만으로는 해당 영역이 실제로 그 개념을 나타낸다는 것을 증명할 수 없습니다. 왜냐하면 반응은 다른 시각적 또는 의미적 단서에 의해 유발될 수도 있기 때문입니다. 본 연구에서는 BrainTRACE (Testing Representations through Counterfactual Evidence)라는 자동화된 프레임워크를 소개합니다. 이 프레임워크는 생성 모델과 두뇌 모델을 결합하여 제어된 자극을 합성하고, 특정 반사실 테스트를 통해 신경 표현을 검증합니다. 사용자가 관심 있는 개념을 지정하면, 저희의 프레임워크는 대상 개념 이미지, 대상 개념을 제거하면서 다른 이미지 내용을 유지하는 반사실 수정 이미지, 그리고 잠재적인 상관 관계를 가진 주의 대상 이미지들로 구성된 자극 세트를 생성합니다. 그런 다음, 이미지-fMRI 인코딩 모델을 사용하여 두뇌 반응을 예측하고, 해당 표현이 대상 개념에 대해 상관 관계가 있는 다른 요소보다 특이적으로 반응하는지 확인합니다. BrainTRACE는 검증된 후보 표현을 제시하며, 추가적인 fMRI 실험을 제안하여 발견 사항을 더욱 시험하거나 확장할 수 있도록 돕습니다. 저희의 접근 방식은 기존에 알려진 기능적 위치를 성공적으로 재현하고, 수십 가지 개념에 걸쳐 새로운 후보 표현을 식별했으며, 예측된 데이터와 실제 측정된 fMRI 데이터를 통해 검증되었습니다. 중요한 점은 반사실 평가 없이 상당수의 위치가 오탐으로 판명될 수 있다는 것을 보여주었으며, 이는 활성화만으로는 표현의 증거가 충분하지 않음을 확인시켜줍니다.

Identifying which brain regions represent a visual concept in the human brain is a central challenge in neuroscience. Existing approaches have localized coarse functional regions (e.g., faces, places) through activation maximization, identifying regions that activate strongly for a target concept relative to other concepts. Yet strong activation alone does not establish that a region represents the concept itself, as responses may instead be driven by correlated visual or semantic cues. We introduce BrainTRACE (Testing Representations through Counterfactual Evidence), an automated framework that combines generative and brain models to synthesize controlled stimuli and validate neural representations through targeted counterfactual-specificity testing. Given a query specifying a concept of interest, our framework constructs targeted stimulus sets comprising concept images, counterfactual edits that remove the target concept while preserving other image content, and images with candidate correlated distractors. It then uses an image-to-fMRI encoding model to predict brain responses and searches for representations that respond specifically to the target concept over correlated alternatives. BrainTRACE returns validated candidate representations and proposes follow-up fMRI experiments to further test or extend its discoveries. Our approach successfully recovers known functional localizations and identifies new candidate representations across dozens of concepts, validated on both predicted and measured fMRI data. Critically, we show that without counterfactual evaluation, a large fraction of localizations would be false positives, confirming that activation alone is insufficient evidence of representation.