인지 과학에서의 기초 모델 활용에 대한 연구

On the use of foundation models in cognitive science

최근 다양한 연구들이 기초 모델(Foundation Models, FMs)의 인지적 및 발달적 특성을 평가했습니다. 이러한 연구는 FMs가 다양한 인지 영역에서 성인의 수행 능력과 얼마나 일치하는지를 평가하고, 또한 모델 훈련 과정이 아동의 인지 발달을 어느 정도 반영하는지를 조사합니다. 그러나 FMs를 잠재적인 인지 모델로 사용하는 것은 상당한 방법론적 및 개념적 과제를 안겨줍니다. 이 연구의 핵심 질문은 다음과 같습니다: 어떤 조건에서 행동적 일치가 FMs를 인지의 설명 모델로 간주하는 것을 정당화합니까? 본 논문에서는 FMs를 인지 및 발달 모델로 평가하기 위한 4단계 추론 프레임워크를 제시합니다. 여기에는 인간 실험 과제를 모델과 호환되는 형식으로 조정하고, 모델 출력을 인간 측정값에 연결하는 가설을 명시하며, 행동적 일치를 평가하고, 후보 모델 또는 조작 간의 비교가 포함됩니다. 우리는 모델 출력과 인간 행동 측정값을 연결하는 데 있어 연결 가설의 역할을 명확히 하고, 일치 주장에 제약을 가하는 과제를 파악하며, 이론 기반 및 비교 평가를 위한 원칙을 제시합니다. 논문 전체에 걸쳐, 우리는 행동적 적합성만으로는 충분하지 않다고 주장합니다. 일치는 명시적인 이론적 전제, 이론 진단 작업 및 후보 모델 간의 체계적인 비교 평가 내에서 포함될 때 과학적으로 의미 있는 가치를 지닙니다.

A host of recent studies have evaluated the cognitive and developmental alignment of Foundation Models (FMs). These investigations include evaluations of their correspondence to adult performance across a range of cognitive domains, as well as whether aspects of model training track children's cognitive development. However, using FMs as candidate cognitive models poses significant methodological and conceptual challenges. A key question underlies this effort: under what conditions does behavioral alignment justify treating FMs as explanatory models of cognition? In this paper, we articulate a four-stage inferential framework for evaluating FMs as cognitive and developmental models: adapting human experimental tasks to model-compatible formats, specifying linking hypotheses that map model outputs to human measures, evaluating behavioral correspondence, and comparing across candidate models or manipulations. We clarify the role of linking hypotheses in mapping model outputs to human behavioral measures, identify challenges that constrain alignment claims, and propose principles for theory-driven and comparative evaluation. Throughout, we argue that behavioral fit alone is insufficient. Alignment becomes scientifically meaningful only when embedded within explicit theoretical commitments, theory-diagnostic tasks, and systematic contrastive evaluation across candidate models.