FADEx: 특징 기여도 및 왜곡 기반 차원 축소 설명 방법

FADEx: Feature Attribution and Distortion-based Explanation of Dimensionality Reduction

차원 축소(DR)는 고차원 데이터 탐색, 머신러닝 모델의 잠재 공간 복잡성 감소, 그리고 복잡하고 불투명한 모델 설명을 돕는 기본적인 도구입니다. 그러나 비선형 차원 축소 기법은 종종 자체적으로 불투명한 변환 역할을 하며, 개별 특징이 축소된 공간에서 데이터 인스턴스의 위치에 어떤 영향을 미치는지 이해하기 어렵게 만듭니다. 이러한 투명성 부족은 구조적 패턴 분석 및 해석을 복잡하게 만들고, 투영된 레이아웃을 기반으로 고차원 데이터를 조직하는 방식에 대한 추론 능력을 저해합니다. 이 문제를 해결하기 위해, 차원 축소 설명 방법은 관찰된 그룹 및 클러스터 구조에 대한 이해를 향상시키는 데 유망한 것으로 나타났습니다. 그러나 기존의 차원 축소 설명 접근 방식은 종종 특징 당 여러 개의 기여도 할당과 특정 차원 축소 방법에 대한 제한적인 적용 가능성과 같은 한계를 가지고 있으며, 이는 이러한 방법의 사용을 저해합니다. 본 연구에서는 FADEx라는 새로운 로컬 기반 인스턴스별 특징 기여도 방법을 제안합니다. FADEx는 1차 테일러 전개를 통한 로컬 선형 근사 및 특이값 분해를 활용하여 설명을 제공하며, 가중 최소 제곱법을 사용하여 로컬 선형 모델을 계산하므로, 별도의 데이터 매핑 없이 차원 축소 방법에 독립적이며, 동시에 로컬 특징 기여도와 왜곡 분석을 제공합니다. 질적 및 양적 평가, 기존 방법과의 비교, 그리고 사례 연구를 통해 FADEx가 차원 축소 방법의 동작 방식을 설명하고 분석하는 데 효과적이고 다재다능하다는 것을 입증했습니다. 결과는 FADEx가 기존 접근 방식보다 우수한 강력하고 신뢰할 수 있는 설명을 제공한다는 것을 보여줍니다.

Dimensionality Reduction (DR) is a fundamental tool for high-dimensional data exploration, reducing the complexity of latent spaces of machine learning models, and assisting in the explanation of complex opaque models. However, non-linear DR techniques often function as opaque transformations themselves, making it challenging to understand how individual features influence instance positioning in the reduced space. This lack of transparency complicates the analysis and interpretation of structural patterns, hindering the ability to reason about the organization of high-dimensional data based on the projected layout. In order to address this challenge, dimensionality reduction explanation methods have shown promise in improving the understanding of the observed groups and cluster structures. Unfortunately, existing DR explanation approaches tend to suffer from limitations such as multiple attributions per feature and restricted applicability to specific dimensionality reduction methods, which hinder their use. In this work, we propose FADEx, a novel local per-instance feature attribution method that leverages local linear approximation via first-order Taylor expansion and Singular Value Decomposition to provide explanations. FADEx computes the local linear models via weighted least squares, eliminating the need for out-of-sample data mapping, making it agnostic to the DR method, while simultaneously providing local feature attributions and distortion analysis. Through qualitative and quantitative evaluations, comparisons with existing methods, and case studies, we demonstrate FADEx's effectiveness and versatility in providing explanations and analytical resources for analyzing the behavior of DR methods. The results indicate FADEx yields robust and reliable explanations, outperforming existing approaches in several aspects.