ATLAS: 자동화된 과학을 위한 능동적 이론 학습

ATLAS: Active Theory Learning for Automated Science

기계적 모델링을 통해 과학적 이해를 발전시키려면, 최대한 많은 정보를 제공하는 실험 질문을 제시해야 합니다. 인지과학 분야에서 이러한 과정을 자동화하기 위해, 우리는 해석 가능한 행동 모델의 데이터 기반 발견을 위한 능동 학습 프레임워크인 ATLAS (Active Theory Learning for Automated Science)를 소개합니다. ATLAS는 다양한 종류의 희소 신경망(Disentangled RNNs)으로 구현된 기계적 가설을 생성하고, 이러한 가설들을 효과적으로 구별할 수 있는 실험을 설계하는 과정을 반복합니다. 우리는 강화 학습 에이전트의 행동 패턴으로부터 에이전트를 복원하는 문제를 예시로 사용하여 이 접근 방식을 테스트했습니다. ATLAS는 시간 구조가 에이전트의 특성에 맞춰져 있으며, 질적으로 새로운 다양한 실험 시퀀스를 설계합니다. 이러한 실험으로 훈련된 모델은 행동적, 구조적, 계산적인 유사성을 포괄하는 다양한 메트릭을 사용하여 평가됩니다. ATLAS는 무작위 실험에 비해 모든 메트릭에서 5~10배 향상된 샘플 효율성을 달성했으며, 그 성능은 문헌에서 파생된 전문가가 설계한 실험과 비교하여 추가적으로 검증되었습니다. 이러한 시뮬레이션 결과는 ATLAS가 인지과학 및 기계적 모델 발견에 의존하는 다른 분야에서 인간이 이해하기 쉬운 통찰력을 가속화할 수 있는 잠재력을 보여줍니다.

Advancing scientific understanding through mechanistic modeling requires posing the right experimental questions to yield maximally informative data. To automate this pursuit within cognitive science, we introduce ATLAS (Active Theory Learning for Automated Science), an active learning framework for the data-driven discovery of interpretable behavioral models. ATLAS iterates between generating mechanistic hypotheses--instantiated as a diverse ensemble of sparse neural networks (Disentangled RNNs)--and designing experiments that optimally distinguish between them. We test this approach on the problem of recovering reinforcement learning agents from their behavior in bandit tasks. ATLAS designs varied sequences of qualitatively novel experiments with temporal structure tailored to underlying agent characteristics. The models trained on these experiments are evaluated against a comprehensive set of metrics for mechanistic modeling that capture behavioral, structural, and computational similarity. ATLAS achieves a 5-10x improvement in sample efficiency across all metrics compared to random experimentation, and its performance is further validated against expert-designed experiments derived from literature. These in silico results showcase ATLAS's potential to accelerate human-interpretable insights in cognitive science and other domains where scientific inquiry relies on discovering mechanistic models.