LitPivot: 문헌 환경 내 동적 맥락화 및 비판을 통한 효과적인 연구 아이디어 개발

LitPivot: Developing Well-Situated Research Ideas Through Dynamic Contextualization and Critique within the Literature Landscape

새로운 연구 아이디어를 개발하는 것은 어렵습니다. 연구 아이디어는 기존 연구와 차별화되어 기여를 해야 하지만, 동시에 기존 연구를 기반으로 해야 합니다. 이를 위해 연구자는 문헌을 반복적으로 검토하고, 읽은 내용을 바탕으로 아이디어를 수정해야 합니다. 하지만 아이디어가 변경되면, 관련 문헌 또한 종종 함께 변경됩니다. 대부분의 도구는 이러한 상호 작용에 대한 제한적인 지원을 제공합니다. 문헌 도구는 연구자가 특정 연구 분야를 이해하는 데 도움을 주지만, 아이디어 도구는 정적인, 미리 선정된 연구 논문 세트에 대한 평가를 수행합니다. 본 연구에서는 문헌 기반의 아이디어 수정(literature-initiated pivots)이라는 메커니즘을 소개합니다. 이 메커니즘은 문헌과의 상호 작용을 통해 연구 아이디어를 수정하고, 그 수정 과정에서 관련 문헌이 변경될 수 있도록 합니다. 우리는 LitPivot을 통해 이 메커니즘을 구현했습니다. LitPivot은 연구자가 아이디어를 초안 작성하고 동시에 검증하는 것을 동시에 수행할 수 있도록 지원합니다. LitPivot은 연구자가 선택한 아이디어의 특정 부분과 관련된 연구 논문 클러스터를 동적으로 검색하고, 문헌 기반의 비판을 통해 아이디어를 어떻게 수정해야 하는지에 대한 제안을 제공합니다. 실험 연구($n=17$) 결과, 연구자들이 LitPivot을 사용했을 때, 기존 연구에 대한 이해도가 높고, 더 높은 평가를 받는 아이디어를 생성하는 것으로 나타났습니다. 또한, 개방형 연구($n=5$)를 통해 연구자들이 LitPivot을 사용하여 자신의 아이디어를 반복적으로 발전시키는 과정을 확인할 수 있었습니다.

Developing a novel research idea is hard. It must be distinct enough from prior work to claim a contribution while also building on it. This requires iteratively reviewing literature and refining an idea based on what a researcher reads; yet when an idea changes, the literature that matters often changes with it. Most tools offer limited support for this interplay: literature tools help researchers understand a fixed body of work, while ideation tools evaluate ideas against a static, pre-curated set of papers. We introduce literature-initiated pivots, a mechanism where engagement with literature prompts revision to a developing idea, and where that revision changes which literature is relevant. We operationalize this in LitPivot, where researchers concurrently draft and vet an idea. LitPivot dynamically retrieves clusters of papers relevant to a selected part of the idea and proposes literature-informed critiques for how to revise it. A lab study ($n{=}17$) shows researchers produced higher-rated ideas with stronger self-reported understanding of the literature space; an open-ended study ($n{=}5$) reveals how researchers use LitPivot to iteratively evolve their own ideas.