Grad-ELLM: 디코더 전용 LLM에 대한 그래디언트 기반 설명 방법

Grad-ELLM: Gradient-based Explanations for Decoder-only LLMs

대규모 언어 모델(LLM)은 다양한 작업에서 놀라운 능력을 보여주었지만, 그 작동 방식을 정확히 알 수 없어 투명성과 신뢰성에 대한 우려가 제기됩니다. 입력 속성 분석 방법은 모델의 출력에 대한 각 입력 토큰의 기여도를 강조하는 것을 목표로 하지만, 기존 방법은 일반적으로 모델에 독립적이며 트랜스포머 아키텍처에 특화되지 않아 신뢰도가 제한적입니다. 이러한 문제를 해결하기 위해, 디코더 전용 트랜스포머 기반 LLM에 대한 그래디언트 기반 속성 분석 방법인 Grad-ELLM을 제안합니다. Grad-ELLM은 어텐션 레이어에 대한 출력 로짓의 그래디언트에서 얻은 채널 중요도와 어텐션 맵에서 얻은 공간적 중요도를 결합하여, 아키텍처 수정 없이 각 생성 단계에서 히트맵을 생성합니다. 또한, 텍스트를 변경할 때 유지되는 정보의 양을 제어하여 보다 공정한 비교를 제공하는 Soft-NC/NS의 변형인 두 가지 신뢰도 지표인 $π$-Soft-NC 및 $π$-Soft-NS를 소개합니다. Grad-ELLM을 감성 분류, 질문 답변 및 자유 생성 작업에서 다양한 모델을 사용하여 평가한 결과, Grad-ELLM은 다른 속성 분석 방법보다 일관되게 더 높은 신뢰도를 달성하는 것으로 나타났습니다.

Large Language Models (LLMs) have demonstrated remarkable capabilities across diverse tasks, yet their black-box nature raises concerns about transparency and faithfulness. Input attribution methods aim to highlight each input token's contributions to the model's output, but existing approaches are typically model-agnostic, and do not focus on transformer-specific architectures, leading to limited faithfulness. To address this, we propose Grad-ELLM, a gradient-based attribution method for decoder-only transformer-based LLMs. By aggregating channel importance from gradients of the output logit with respect to attention layers and spatial importance from attention maps, Grad-ELLM generates heatmaps at each generation step without requiring architectural modifications. Additionally, we introduce two faithfulneses metrics $π$-Soft-NC and $π$-Soft-NS, which are modifications of Soft-NC/NS that provide fairer comparisons by controlling the amount of information kept when perturbing the text. We evaluate Grad-ELLM on sentiment classification, question answering, and open-generation tasks using different models. Experiment results show that Grad-ELLM consistently achieves superior faithfulness than other attribution methods.