VISTA: 효율적인 분석을 통한 토큰 기여도 시각화

VISTA: Visualization of Token Attribution via Efficient Analysis

대규모 언어 모델(LLM)이 프롬프트로부터 정보를 어떻게 처리하는지 이해하는 것은 여전히 중요한 과제입니다. 이 '블랙박스'에 대한 이해를 높이기 위해, 신경망 수준의 인지 과정을 파악하고 모델이 입력 데이터의 다양한 부분에 어떻게 집중하는지 해석하기 위한 어텐션 시각화 기술이 개발되었습니다. 그러나 많은 기존 기술은 특정 모델 아키텍처, 특히 트랜스포머 계열에 맞춰져 있으며, 종종 역전파를 필요로 하여 GPU 메모리 사용량을 거의 두 배로 늘리고 계산 비용을 증가시킵니다. 모델에 구애받지 않고 가벼운 어텐션 시각화 접근 방식은 아직 부족한 상황입니다. 본 논문에서는 생성형 AI 시스템이 입력 텍스트로부터 정보를 어떻게 인식하고 우선순위를 부여하는지 더 잘 이해할 수 있도록, 추가적인 계산 비용 없이 모델에 구애받지 않는 토큰 중요도 시각화 기술을 소개합니다. 우리의 방법은 섭동 기반 전략과 세 개의 행렬 분석 프레임워크를 결합하여 모델 예측에 대한 토큰 수준의 기여도를 보여주는 관련성 지도를 생성합니다. 이 프레임워크는 다음과 같이 구성됩니다. (1) 의미 방향의 변화를 포착하는 각도 편차 행렬, (2) 의미 강도의 변화를 측정하는 크기 편차 행렬, 그리고 (3) 개별 벡터 차원에서의 기여도를 평가하는 차원 중요도 행렬입니다. 각 토큰을 체계적으로 제거하고 이 세 가지 상호 보완적인 차원에 걸친 영향을 측정함으로써, 토큰의 중요성에 대한 미묘하고 수학적으로 근거 있는 측정값을 제공하는 복합 중요도 점수를 도출합니다. 재현성을 지원하고 더 광범위한 채택을 촉진하기 위해, 제안된 모든 설명 가능성 기술의 오픈 소스 구현체를 제공하며, 코드와 리소스는 https://github.com/Infosys/Infosys-Responsible-AI-Toolkit 에서 공개적으로 이용할 수 있습니다.

Understanding how Large Language Models (LLMs) process information from prompts remains a significant challenge. To shed light on this "black box," attention visualization techniques have been developed to capture neuron-level perceptions and interpret how models focus on different parts of input data. However, many existing techniques are tailored to specific model architectures, particularly within the Transformer family, and often require backpropagation, resulting in nearly double the GPU memory usage and increased computational cost. A lightweight, model-agnostic approach for attention visualization remains lacking. In this paper, we introduce a model-agnostic token importance visualization technique to better understand how generative AI systems perceive and prioritize information from input text, without incurring additional computational cost. Our method leverages perturbation-based strategies combined with a three-matrix analytical framework to generate relevance maps that illustrate token-level contributions to model predictions. The framework comprises: (1) the Angular Deviation Matrix, which captures shifts in semantic direction; (2) the Magnitude Deviation Matrix, which measures changes in semantic intensity; and (3) the Dimensional Importance Matrix, which evaluates contributions across individual vector dimensions. By systematically removing each token and measuring the resulting impact across these three complementary dimensions, we derive a composite importance score that provides a nuanced and mathematically grounded measure of token significance. To support reproducibility and foster wider adoption, we provide open-source implementations of all proposed and utilized explainability techniques, with code and resources publicly available at https://github.com/Infosys/Infosys-Responsible-AI-Toolkit