CRISP: 학술 논문의 상대적 영향력 분석

CRISP: Characterizing Relative Impact of Scholarly Publications

피인용 논문의 영향력을 평가하는 일반적인 방법은 피인용 논문의 인용 맥락을 피인용 논문 내에서 개별적으로 분석하는 것입니다. 이 방법은 가장 직접적으로 관련된 텍스트에 초점을 맞추지만, 논문이 인용한 모든 작품 간의 상대적인 비교를 방해합니다. 본 연구에서는 대규모 언어 모델(LLM)을 사용하여 피인용 논문 내의 모든 인용된 논문을 공동으로 순위를 매기는 CRISP라는 방법을 제안합니다. LLM의 위치 편향을 완화하기 위해, 각 목록을 세 번 랜덤하게 순서를 변경하여 평가하고, 다수결 투표를 통해 영향력 레이블을 집계합니다. 이러한 공동 접근 방식은 개별적으로 인용을 평가하는 것이 아니라 전체 인용 맥락을 활용하여 영향력 있는 참고 문헌을 보다 신뢰성 있게 구별합니다. CRISP는 인간이 주석을 단 인용 데이터 세트에서 기존 최고 성능 모델보다 정확도 9.5% 및 F1 점수 8.3% 더 높은 성능을 보였습니다. 또한 CRISP는 LLM 호출 횟수를 줄여 효율성을 높이고, 오픈 소스 모델과 경쟁적인 성능을 보여주어 확장 가능하고 비용 효율적인 인용 영향력 분석을 가능하게 합니다. 본 연구에서는 순위, 영향력 레이블, 그리고 코드를 공개하여 향후 연구를 지원합니다.

Assessing a cited paper's impact is typically done by analyzing its citation context in isolation within the citing paper. While this focuses on the most directly relevant text, it prevents relative comparisons across all the works a paper cites. We propose CRISP, which instead jointly ranks all cited papers within a citing paper using large language models (LLMs). To mitigate LLMs' positional bias, we rank each list three times in a randomized order and aggregate the impact labels through majority voting. This joint approach leverages the full citation context, rather than evaluating citations independently, to more reliably distinguish impactful references. CRISP outperforms a prior state-of-the-art impact classifier by +9.5% accuracy and +8.3% F1 on a dataset of human-annotated citations. CRISP further gains efficiency through fewer LLM calls and performs competitively with an open-source model, enabling scalable, cost-effective citation impact analysis. We release our rankings, impact labels, and codebase to support future research.