KEditVis: 대규모 언어 모델의 지식 편집을 위한 시각적 분석 시스템

KEditVis: A Visual Analytics System for Knowledge Editing of Large Language Models

대규모 언어 모델(LLM)은 사실 기반 질문 답변에서 뛰어난 능력을 보여주지만, 때로는 부정확한 답변을 제공하기도 합니다. 이러한 문제를 해결하기 위해, 지식 편집 기술은 LLM 내의 사실 정보를 수정하는 효과적인 방법으로 부상했습니다. 그러나 일반적인 지식 편집 워크플로는 편집에 가장 적합한 모델 레이어를 식별하는 데 어려움을 겪으며, 충분한 지침을 제공하지 못하는 요약 지표에 의존합니다. 이러한 투명성 부족은 효과적인 비교와 최적의 편집 전략 식별을 방해합니다. 본 논문에서는 사용자가 시각적 인터랙션을 통해 지식 편집에 대한 깊이 있는 이해를 얻고, 편집 결과를 개선하며, 지식 편집 알고리즘의 미래 개발을 위한 귀중한 통찰력을 얻을 수 있도록 설계된 새로운 시각적 분석 시스템인 KEditVis를 소개합니다. KEditVis를 통해 사용자는 적절한 편집 대상 레이어를 선택하고, 비효율적인 편집의 원인을 탐색하며, 보다 표적적이고 효과적인 편집을 수행할 수 있습니다. 사용 시나리오, 전문가 인터뷰 및 사용자 연구를 포함한 평가 결과는 시스템의 효과성과 사용성을 입증합니다.

Large Language Models (LLMs) demonstrate exceptional capabilities in factual question answering, yet they sometimes provide incorrect responses. To address this issue, knowledge editing techniques have emerged as effective methods for correcting factual information in LLMs. However, typical knowledge editing workflows struggle with identifying the optimal set of model layers for editing and rely on summary indicators that provide insufficient guidance. This lack of transparency hinders effective comparison and identification of optimal editing strategies. In this paper, we present KEditVis, a novel visual analytics system designed to assist users in gaining a deeper understanding of knowledge editing through interactive visualizations, improving editing outcomes, and discovering valuable insights for the future development of knowledge editing algorithms. With KEditVis, users can select appropriate layers as the editing target, explore the reasons behind ineffective edits, and perform more targeted and effective edits. Our evaluation, including usage scenarios, expert interviews, and a user study, validates the effectiveness and usability of the system.