상태 기반 발견(StatefulDiscovery): 증거 기반 주장 형성 모델을 이용한 개방형 과학적 발견

StatefulDiscovery: Evidence-Calibrated Claim Formation in Open-Ended Scientific Discovery

개방형 과학적 발견은 단순히 미리 정의된 질문에 대한 분석을 수행하는 것을 넘어, 탐색 과정에서 에이전트가 어떤 현상을 조사할지 결정하고 과도한 해석을 피해야 합니다. 과도한 해석이란, 분석 결과를 뒷받침하는 증거의 범위를 벗어나는 주장이 발생하는 경우를 의미합니다. 이는 '증거 교정(evidence-calibration)' 문제로 이어집니다. 즉, 탐색 경로와 주장의 타당성을 연결하여, 획득된 증거가 다음으로 무엇을 조사할지 결정하고 어떤 주장을 할 수 있는지 안내하도록 해야 합니다. 본 논문에서는 StatefulDiscovery라는 발견 프레임워크를 제안합니다. StatefulDiscovery는 탐색 상태를 외부화하여 이를 활용하여 탐색 영역 선택, 증거 획득 및 주장 평가를 조정합니다. 실제 데이터로 구성된 40개의 발견 작업에서 StatefulDiscovery의 성능을 평가한 결과, 다른 기준 모델과 비교했을 때 StatefulDiscovery는 더 많은 수의 주장을 생성했으며, 이러한 주장들은 뒷받침 정도가 높고 가치가 있는 것으로 판단되었습니다. 추가적인 분석을 통해 구조화된 가설, 로컬 평가 및 탐색 영역 제어가 성능 향상에 기여한다는 것을 확인했습니다. 종합적으로 볼 때, 명시적인 발견 상태는 탐색 과정을 증거 기반의 주장 형성과 연결하는 데 중요한 역할을 합니다.

Open-ended scientific discovery asks agents to move beyond executing analyses for predefined questions. Across multiple rounds of exploration, a discovery agent must decide which phenomena warrant investigation while avoiding overinterpretation, where emerging claims exceed the evidential scope of the analyses supporting them. This creates an evidence-calibration problem: the exploration trajectory must be coupled with claim status so that evidence can guide both what to investigate next and what can be claimed. We introduce StatefulDiscovery, a discovery framework that externalizes investigation state and uses it to coordinate frontier selection, evidence acquisition, and claim adjudication. We evaluate StatefulDiscovery across 40 real-data discovery tasks. Compared with several baselines, StatefulDiscovery produces more claims overall judged to be both well-supported and high-value. Ablations indicate that structured hypotheses, local adjudication, and frontier control contribute to performance. Together, these results suggest that explicit discovery state can couple exploration with evidence-calibrated claim formation.