인지 과학 분야의 이론 구축 발전을 위한 자동화된 적대적 협력

Automated Adversarial Collaboration for Advancing Theory Building in the Cognitive Sciences

인지 과학은 종종 좁은 패러다임과 개별 모델 비교를 통해 이론을 평가하며, 이는 다양한 작업과 구현에 걸쳐 증거를 통합하는 데 제한을 둡니다. 본 연구에서는 경쟁하는 이론들을 평가하기 위한 자동화된 적대적 협력 프레임워크를 소개합니다. 이 프레임워크는 평가 과정에서 후보 모델과 실험을 발견해야 하는 경우에도 적용 가능합니다. 이 시스템은 LLM 기반 이론 에이전트, 프로그램 합성, 그리고 정보 이론 기반의 실험 설계를 폐쇄 루프 방식으로 결합합니다. 세 가지 주요 범주화 이론을 다루는 시뮬레이션 연구에서, 이 프레임워크는 다양한 노이즈 환경에서 실제 이론을 성공적으로 복원했으며, 특히 가장 어려운 환경에서도 어느 정도의 신뢰성을 보였습니다. 이 프레임워크와 연구 결과는 인지 과학 분야에서 폐쇄 루프 기반의 시뮬레이션 이론 평가를 위한 구체적인 개념 증명 역할을 합니다.

Cognitive science often evaluates theories through narrow paradigms and local model comparisons, limiting the integration of evidence across tasks and realizations. We introduce an automated adversarial collaboration framework for adjudicating among competing theories even when the candidate models and experiments must be discovered during the adjudication process. The system combines LLM-based theory agents, program synthesis, and information-theoretic experimental design in a closed loop. In a simulation study spanning three classic categorization theories, the framework recovered the ground-truth theory across noise settings with weaker reliability in the hardest settings. Together, the framework and findings provide a concrete proof of concept for closed-loop, in-silico theory adjudication in cognitive science.