반복적인 메타-성찰을 통한 자율적 과학적 발견

Autonomous Scientific Discovery via Iterative Meta-Reflection

자율적인 과학적 발견 시스템은 가설 생성 및 검증 과정을 자동화하여 연구 속도를 향상시킬 수 있는 잠재력을 가지고 있습니다. 그러나 현재의 시스템들은 제한된 탐색 공간 내에서 작동하거나, 미리 정의된 연구 질문을 필요로 하기 때문에 진정한 의미의 자유로운 탐구를 수행하는 데 한계가 있습니다. 또한, 이러한 시스템들이 가설을 반복적으로 생성하더라도, 축적된 결과를 명시적으로 종합하여 복잡하고 상호 연결된 현상을 밝혀내는 능력은 부족합니다. 본 논문에서는 DiscoPER라는 자율적인 프레임워크를 소개하는데, 이는 대규모 언어 모델 기반으로 작동하며, 미리 정해진 연구 목표 없이 데이터셋을 탐색하기 위해 코드를 동적으로 생성하고 실행하여 자유로운 연구를 수행합니다. 엄격한 과학적 타당성을 확보하기 위해, 제안된 모든 발견은 통계 검정을 거쳐야 합니다. 개별적인 탐색의 한계를 극복하기 위해, 본 프레임워크는 두 번째 차원의 추론 메커니즘을 도입하여 주기적으로 자체적으로 축적된 발견 결과를 분석합니다. DiscoPER는 이전의 발견들을 경험적 데이터로 취급하여 구조적 패턴, 교란 요인 및 인식론적 격차를 파악하고, 이를 바탕으로 가설 탐색 방향을 미리 정해지지 않은 탐색 공간의 미개척 영역으로 적극적으로 조정합니다. 또한, 도구 활용 기능을 통합하여 검색 공간을 더욱 확장함으로써, 시스템은 구조화된 메타데이터를 넘어 이미지와 같은 다양한 형식의 소스에서 유용한 정보를 원활하게 처리하고 추출하여 가설을 탐색할 수 있습니다. 새로운 다중 모드 생태 지식 벤치마크인 iNatDisco를 사용하여 평가한 결과, DiscoPER는 동료 검토된 문헌으로부터 얻은 패턴 수준의 정확한 정보를 활용하여 알려진 9가지 패턴 중 8가지를 72.7%의 가설 지원율로 복원했으며, 이는 기존의 인과 관계 발견 방법 및 LLM 기반 시스템보다 우수한 성능을 보였습니다. 추가적인 분석 결과, DiscoPER는 데이터 양이 증가함에 따라 성능이 향상되며, 두 번째 차원의 메타-성찰의 효과를 입증했습니다.

Autonomous scientific discovery systems offer the potential to accelerate research by automating the process of hypothesis generation and validation. However, current systems operate within constrained search spaces or require predefined research questions, limiting their capacity for true open-ended inquiry. Furthermore, while they generate hypotheses iteratively, they largely lack the ability to explicitly synthesize their own accumulated findings to uncover complex, interconnected phenomena. We introduce DiscoPER, an autonomous large language model-powered framework that conducts open-ended research by dynamically generating and executing code to explore datasets without pre-specified research objectives. To ensure rigorous scientific validity, every proposed discovery must pass statistical testing. To overcome the limitations of isolated search, our framework introduces a second-order reasoning mechanism that periodically analyzes its own accumulated discoveries. By treating prior discoveries as empirical data, DiscoPER identifies structural patterns, confounds, and epistemic gaps, actively redirecting hypothesis exploration toward uncharted regions of the search space. The search space is further expanded by incorporating tool use, enabling the system to explore hypotheses beyond structured metadata by seamlessly processing and extracting useful information from multimodal sources like images. Evaluated on iNatDisco, a new multimodal ecological knowledge benchmark with pattern-level ground truth obtained from peer-reviewed literature, DiscoPER recovers 8 of 9 known patterns with a 72.7% hypothesis support rate, outperforming both classical causal discovery and LLM-guided baselines. Ablations show that DiscoPER scales with more data, and confirms the benefits of second-order meta-reflection.