DeepInnovator: LLM의 혁신적 역량 촉발

DeepInnovator: Triggering the Innovative Capabilities of LLMs

과학적 발견을 가속화하는 데 있어 거대 언어 모델(LLM)의 활용이 점점 더 많은 주목을 받고 있으며, 새롭고 의미 있는 연구 아이디어를 자율적으로 생성할 수 있는 능력, 즉 혁신적 역량을 갖춘 연구 에이전트를 구축하는 데 핵심적인 초점이 맞춰져 있다. 기존의 접근 방식은 주로 정교한 프롬프트 엔지니어링에 의존하며 체계적인 훈련 패러다임이 부족하다. 이를 해결하기 위해 우리는 LLM의 혁신적 역량을 촉발하도록 설계된 훈련 프레임워크인 DeepInnovator를 제안한다. 우리의 접근 방식은 두 가지 핵심 구성 요소로 이루어진다. (1) "거인의 어깨 위에 서기". 우리는 레이블이 없는 방대한 과학 문헌 코퍼스에서 구조화된 연구 지식을 추출하고 구성하는 자동화된 데이터 추출 파이프라인을 구축한다. (2) "추측과 논박". 우리는 연구 아이디어의 생성을 그럴듯하고 새로운 다음 아이디어를 지속적으로 예측, 평가 및 개선하는 반복적인 과정으로 모델링하는 "다음 아이디어 예측(Next Idea Prediction)" 훈련 패러다임을 도입한다. 자동 평가와 전문가 평가 모두에서 우리의 DeepInnovator-14B가 훈련되지 않은 베이스라인을 크게 능가하여 80.53%-93.81%의 승률을 달성했으며, 현재 선도적인 LLM에 필적하는 성능을 달성했음을 보여준다. 본 연구는 진정하고 독창적인 혁신 역량을 갖춘 연구 에이전트를 구축하기 위한 확장 가능한 훈련 경로를 제공하며, 커뮤니티의 발전을 촉진하기 위해 데이터셋을 오픈소스로 공개할 것이다. 소스 코드와 데이터는 https://github.com/HKUDS/DeepInnovator 에서 확인할 수 있다.

The application of Large Language Models (LLMs) in accelerating scientific discovery has garnered increasing attention, with a key focus on constructing research agents endowed with innovative capability, i.e., the ability to autonomously generate novel and significant research ideas. Existing approaches predominantly rely on sophisticated prompt engineering and lack a systematic training paradigm. To address this, we propose DeepInnovator, a training framework designed to trigger the innovative capability of LLMs. Our approach comprises two core components. (1) ``Standing on the shoulders of giants''. We construct an automated data extraction pipeline to extract and organize structured research knowledge from a vast corpus of unlabeled scientific literature. (2) ``Conjectures and refutations''. We introduce a ``Next Idea Prediction'' training paradigm, which models the generation of research ideas as an iterative process of continuously predicting, evaluating, and refining plausible and novel next idea. Both automatic and expert evaluations demonstrate that our DeepInnovator-14B significantly outperforms untrained baselines, achieving win rates of 80.53\%-93.81\%, and attains performance comparable to that of current leading LLMs. This work provides a scalable training pathway toward building research agents with genuine, originative innovative capability, and will open-source the dataset to foster community advancement. Source code and data are available at: https://github.com/HKUDS/DeepInnovator.