차원 축소와 네트워크 과학의 만남: UMAP의 kNN 그래프에 대한 이해

Dimensionality Reduction Meets Network Science: Sensemaking on UMAP's kNN Graph

UMAP은 고차원 데이터를 탐색하는 데 널리 사용되지만, 일반적인 워크플로우는 주로 UMAP이 내부적으로 생성하는 저차원 임베딩에 초점을 맞추며, UMAP이 생성하는 풍부한 k-최근접 이웃(kNN) 그래프를 간과하는 경우가 많습니다. 이 그래프는 UMAP의 2D 투영으로 인한 왜곡 이전, 원래 고차원 공간에서의 데이터 다양체를 인코딩합니다. 본 연구에서는 이 내부 표현의 잠재력을 보여주며, 이 그래프에 적용되는 표준 그래프 알고리즘이 데이터 이해를 어떻게 향상시키는지 설명합니다. (1) PageRank는 대표적인 데이터 포인트를 식별하고, (2) k-core 분해는 밀집된 핵심 영역과 희소한 주변 영역을 드러내며, (3) 클러스터링 계수는 매우 유사한 데이터 포인트로 구성된 긴밀한 이웃 관계를 감지합니다. MNIST 및 Fashion MNIST 데이터셋에 대한 정량적 및 정성적 평가를 통해 이러한 그래프 기반 분석이 실용적일 뿐만 아니라, 특정 목적을 위해 설계된 방법(예: 대표 값 선택을 위한 k-medoids, 밀도 기반 클러스터링을 위한 HDBSCAN)과 경쟁하거나 상호 보완적인 결과를 제공한다는 것을 보여줍니다.

While UMAP is widely used for exploring high-dimensional data, typical workflows focus on its lower-dimensional embedding, largely overlooking the rich k-nearest-neighbor (kNN) graph that UMAP constructs internally. This graph encodes the data manifold in its original high-dimensional space, before the distortion that UMAP's 2D projection introduces. We demonstrate the untapped potential of this internal representation, showing how standard graph algorithms applied to this graph enhance data sensemaking: (1) PageRank identifies representative data points, (2) k-core decomposition reveals dense core regions versus sparse periphery, and (3) clustering coefficient detects tight-knit neighborhoods with highly-similar data points. Through quantitative and qualitative evaluation on MNIST and Fashion MNIST, we show that these graph-based analyses are not only practical but also competitive with or complementary to purpose-built methods (e.g., k-medoids for exemplar selection, HDBSCAN for density-based clustering).