하나의 성찰만으로는 충분하지 않다: 다중 가설 실패 귀인 기반 자기 수정형 자율 연구

One Reflection Is Not Enough: Self-Correcting Autonomous Research via Multi-Hypothesis Failure Attribution

자율적인 연구 시스템은 현재 가설을 수립하고, 코드를 작성하며, 실험을 수행하고, 논문을 생성할 수 있지만, 실험이 실패할 때 취약점을 드러냅니다. 기존의 방식에서 실패 복구는 일반적으로 단일 형식의 성찰에 의존하는데, 이는 다양한 지표, 로그 및 설계 선택 사항들을 하나의 구두 비판으로 압축하여, 종종 제한적인 시행착오 또는 유용한 정보를 잃게 만드는 급격한 방향 전환으로 이어집니다. 본 논문에서는 이러한 실패 복구 병목 현상을 해결하기 위해 SAGE(Self-correcting, Autonomous, Grounded Experimenter)라는 자기 수정형 자율 실험 시스템을 제안합니다. SAGE의 핵심 메커니즘인 다중 가설 실패 귀인(MHFA)은 복구를 체계적인 인과 진단으로 간주합니다. MHFA는 동적 추세 특징을 분석하여, 실패에 대한 다양한 증거 기반 설명을 체계적으로 생성하고, 각 설명의 심각도를 독립적으로 평가하며, 검증된 근본 원인을 올바른 개입 수준(가설, 실험 설계 또는 구현)으로 결정적으로 연결합니다. SAGE는 과학적 정직성을 보장하기 위해, 작성된 결과물을 실제 측정값에 명시적으로 제한하는 기반 보고 메커니즘을 추가로 사용하며, 환상적인 숫자는 삭제합니다. 12개 주제, 5개 도메인의 벤치마크 테스트에서 SAGE는 기준 모델보다 지표 관련 출력량을 42%에서 92%로 향상시키고, 결과물의 품질을 5.00점에서 6.75점으로 개선했으며, AI-Scientist-v2(52.0 vs. 48.2)를 능가했습니다. 이러한 성능 향상은 주로 코드 개발 및 실행 부분에서 두드러집니다. 완전한 자율적인 과학적 글쓰기와 학술 대회 발표용 논문 생성은 여전히 전체 분야의 해결해야 할 어려운 과제이지만, SAGE는 훨씬 더 신뢰할 수 있고 고품질의 과학적 결과물을 성공적으로 생성합니다. 궁극적으로, 체계적인 복구와 명시적인 기반 제약을 결합함으로써, SAGE는 단일 성찰 방식보다 훨씬 뛰어난 성능을 보이며, 향후 자율적인 연구를 위한 매우 신뢰할 수 있는 기반을 구축합니다.

Autonomous research agents can now draft hypotheses, write code, run experiments, and produce papers, but they remain brittle when experiments fail. Under the prevailing paradigm, failure recovery is usually delegated to a single free-form reflection: a rich trajectory of metrics, logs, and design choices is compressed into one verbal critique, which often leads either to localized trial-and-error or to hard pivots that discard useful context. We propose SAGE, a Self-correcting, Autonomous, Grounded Experimenter, to tackle this failure-recovery bottleneck. Its core mechanism, Multi-Hypothesis Failure Attribution (MHFA), treats recovery as a structured causal diagnosis. By analyzing dynamic trajectory features, MHFA systematically generates multiple evidence-grounded explanations for a failure, independently evaluates their severity, and deterministically routes the verified root cause to the correct intervention level (hypothesis, experimental design, or implementation). To guarantee scientific honesty, SAGE further employs a grounded reporting mechanism that explicitly constrains drafted results to actual measured values, redacting hallucinated numbers. On a 12-topic, 5-domain benchmark, SAGE increases metrics-bearing outputs from 42% to 92% over a reflection baseline, improves artifact quality from 5.00 to 6.75/10, and blindly outscores AI-Scientist-v2 (52.0 vs. 48.2), with gains concentrated in code development and execution. While fully autonomous scientific writing and generating conference-ready papers remain notoriously difficult open problems for the entire field, SAGE successfully produces significantly more reliable and higher-quality scientific artifacts. Ultimately, by coupling structured recovery with explicit grounding constraints, SAGE significantly outperforms monolithic reflection paradigms, establishing a highly trustworthy foundation for future autonomous research.