발화 기록이 행동 데이터 분석을 넘어 자동화된 인지 모델 발견에 미치는 영향

Think-Aloud Reshapes Automated Cognitive Model Discovery Beyond Behavior

대규모 언어 모델을 사용하여 발견된 계산 인지 모델은 지금까지 오직 행동 데이터에만 의존해 왔습니다. 그러나 행동 궤적만으로 생성된 모델은 일반적으로 불확정적인 경향이 있습니다. 본 연구에서는 자동화된 모델 발견 과정에서 발화 기록을 추가적인 데이터 제약 조건으로 활용하는 방안을 탐구합니다. 위험 의사 결정 영역에 적용한 결과, 발화 기록을 활용하여 발견된 모델은 검증 데이터에 대한 예측 성능이 현저히 향상되었습니다. 또한, 참가자의 대다수(69.4%)의 경우, 발화 기록만으로 발견된 모델과 행동 데이터만으로 발견된 모델의 구조적 클래스가 다르다는 것을 확인했습니다. 특히, 명시적 비교자(Explicit comparator) 모델에서 통합 효용(Integrated utility) 모델로의 변화가 나타났습니다. 이러한 결과는 과정 수준의 언어 데이터가 모델 적합성을 향상시킬 뿐만 아니라, 발견된 인지 모델의 구조를 체계적으로 변화시켜 행동 데이터만으로는 파악할 수 없는 메커니즘을 식별할 수 있게 함을 시사합니다.

Computational cognitive models discovered using large language models have so far relied solely on behavioral data. However, it is well-known that models produced from the behavioral trajectory alone are typically under-determined. In this work, we explore the use of Think Aloud traces as an additional form of data constraint during automated model discovery. When applied to the domain of risky decision-making, we find that the models discovered with think-aloud achieve significantly improved predictive performance on held-out data. Additionally, we find that the discovered models belong to different structural classes than those discovered from behavior alone for the majority of participants (69.4\%), specifically, it shifts from Explicit comparator towards Integrated utility. These results suggest that process-level language data not only improve model fit, but also systematically reshape the structure of the discovered cognitive models, enabling the identification of mechanisms that are not recoverable from behavior alone.