이질적 과학: 아이디어의 기본 요소로부터 일관성이 있지만 인지적으로 접근하기 어려운 연구 방향 탐색

Alien Science: Sampling Coherent but Cognitively Unavailable Research Directions from Idea Atoms

대규모 언어 모델은 익숙한 자료를 종합하고 재조합하는 데 능숙하지만, 연구에서 가장 중요한 특정 유형의 창의성, 즉 현재 연구 커뮤니티에서 일관성이 있고 새롭다고 여겨지는 아이디어를 생성하는 데는 종종 실패합니다. 우리는 이러한 간극을 '인지적 접근 가능성'이라는 개념을 통해 형식화합니다. 이는 연구자가 수행한 작업을 바탕으로 일반적인 연구자가 자연스럽게 제안할 가능성이 있는 연구 방향의 확률을 의미합니다. 우리는 다음과 같은 단계를 포함하는 파이프라인을 소개합니다. (i) 논문을 세분화된 개념 단위로 분해하고, (ii) 반복되는 단위를 공유 어휘의 '아이디어 기본 요소'로 클러스터링하고, (iii) 두 가지 상호 보완적인 모델을 학습합니다. 첫 번째는 '일관성 모델'로, 특정 아이디어 기본 요소 집합이 실현 가능한 연구 방향을 구성하는지 여부를 평가하고, 두 번째는 '접근 가능성 모델'로, 커뮤니티의 연구자가 해당 방향을 생성할 가능성을 평가합니다. 그런 다음, 우리는 일관성은 높지만 접근 가능성은 낮은 '이질적인' 연구 방향을 샘플링합니다. NeurIPS, ICLR 및 ICML에서 발표된 약 7,500편의 최신 LLM 논문 코퍼스를 사용하여 다음을 확인했습니다. (a) 개념 단위가 재구성 과정에서 논문의 내용을 보존하고, (b) 아이디어 기본 요소가 논문별 특정 표현을 암기하는 것이 아니라 논문 전체에서 일반화되며, (c) 이질적인 샘플링 방법이 LLM 기준보다 더 다양한 연구 방향을 생성하면서도 일관성을 유지합니다.

Large language models are adept at synthesizing and recombining familiar material, yet they often fail at a specific kind of creativity that matters most in research: producing ideas that are both coherent and non-obvious to the current community. We formalize this gap through cognitive availability, the likelihood that a research direction would be naturally proposed by a typical researcher given what they have worked on. We introduce a pipeline that (i) decomposes papers into granular conceptual units, (ii) clusters recurring units into a shared vocabulary of idea atoms, and (iii) learns two complementary models: a coherence model that scores whether a set of atoms constitutes a viable direction, and an availability model that scores how likely that direction is to be generated by researchers drawn from the community. We then sample "alien" directions that score high on coherence but low on availability. On a corpus of $\sim$7,500 recent LLM papers from NeurIPS, ICLR and ICML, we validate that (a) conceptual units preserve paper content under reconstruction, (b) idea atoms generalize across papers rather than memorizing paper-specific phrasing, and (c) the Alien sampler produces research directions that are more diverse than LLM baselines while maintaining coherence.