인공지능 기반 과학 연구 도구의 활용 및 참여 분석: Asta 상호작용 데이터셋

Understanding Usage and Engagement in AI-Powered Scientific Research Tools: The Asta Interaction Dataset

인공지능 기반 과학 연구 도구들이 연구 워크플로우에 빠르게 통합되고 있지만, 실제 환경에서 연구자들이 이러한 시스템을 어떻게 사용하는지에 대한 명확한 이해는 부족합니다. 본 논문에서는 Asta 상호작용 데이터셋을 소개하고 분석합니다. 이 데이터셋은 LLM 기반 검색 증강 생성 플랫폼 내에서 배포된 두 가지 도구(문헌 검색 인터페이스 및 과학 질문 응답 인터페이스)에서 수집된 20만 건 이상의 사용자 질의 및 상호작용 로그로 구성된 대규모 자원입니다. 이 데이터셋을 활용하여 질의 패턴, 참여 행동, 그리고 경험에 따른 사용 패턴의 변화를 분석했습니다. 분석 결과, 사용자는 기존 검색 방식보다 더 길고 복잡한 질의를 제출하며, 시스템을 협력적인 연구 파트너로 간주하고 콘텐츠 초안 작성 및 연구 격차 식별과 같은 작업을 위임합니다. 사용자는 생성된 응답을 지속적인 결과물로 취급하며, 비선형적인 방식으로 출력 및 인용된 증거를 반복적으로 확인하고 탐색합니다. 경험이 쌓일수록 사용자는 더욱 구체적인 질의를 제시하고 관련 인용 자료에 더 깊이 참여하지만, 키워드 기반 질의 방식은 숙련된 사용자에게서도 여전히 나타납니다. 본 논문에서는 익명화된 데이터셋 및 분석 결과를 새로운 질의 의도 분류 체계와 함께 공개하여 실제 AI 연구 도구의 설계 개선 및 현실적인 평가를 지원하고자 합니다.

AI-powered scientific research tools are rapidly being integrated into research workflows, yet the field lacks a clear lens into how researchers use these systems in real-world settings. We present and analyze the Asta Interaction Dataset, a large-scale resource comprising over 200,000 user queries and interaction logs from two deployed tools (a literature discovery interface and a scientific question-answering interface) within an LLM-powered retrieval-augmented generation platform. Using this dataset, we characterize query patterns, engagement behaviors, and how usage evolves with experience. We find that users submit longer and more complex queries than in traditional search, and treat the system as a collaborative research partner, delegating tasks such as drafting content and identifying research gaps. Users treat generated responses as persistent artifacts, revisiting and navigating among outputs and cited evidence in non-linear ways. With experience, users issue more targeted queries and engage more deeply with supporting citations, although keyword-style queries persist even among experienced users. We release the anonymized dataset and analysis with a new query intent taxonomy to inform future designs of real-world AI research assistants and to support realistic evaluation.