TopoAlign: 토폴로지 기반 시각적 표현 정렬

TopoAlign: Topology-Aware Visual Representation Alignment

신경망은 입력을 고차원 벡터, 즉 '표현'으로 인코딩하며, 이는 모델이 데이터를 처리하는 방식을 담고 있으며, 작업과 관련된 구조와 의미를 포함합니다. 표현 정렬이란 다양한 모델, 레이어 또는 훈련 조건에서 동일한 입력에 대해 얼마나 유사한 표현을 생성하는지를 나타내며, 모델 해석, 선택 및 강건성 분석에 중요한 영향을 미칩니다. 기존의 정렬 측정 방법은 주로 이웃 유사성이나 클러스터 유사성과 같은 기하학적 특성에 의존하며, 표현의 전체적인 구조에 대한 제한적인 통찰력을 제공합니다. 본 연구에서는 구조 관점에서 모델 표현을 시각적으로 비교하는 토폴로지 기반 프레임워크인 TopoAlign을 제시합니다. TopoAlign은 위상 데이터 분석에서 사용되는 매퍼 그래프를 활용하여, 서로 다른 모델 또는 레이어의 공유 입력에 대한 표현으로 구성된 그래프를 동시에 분석합니다. 이 프레임워크는 상위-하위 비교 워크플로우를 지원하며, 먼저 공동 힘 방향 최적화를 통해 전체 구조 정렬을 수행하여 조정된 그래프 레이아웃을 생성하고, 그 다음 자동화된 방식으로 구조적으로 일치하는 영역을 감지하여 버블 셋으로 시각화합니다. 마지막으로 모티프 기반의 질의 및 막-영감에서 얻은 시각화를 통해 세밀한 패턴 검사를 가능하게 합니다. 우리는 언어 모델과 멀티모달 모델에 대한 사례 연구를 통해 TopoAlign을 보여주고, 전문가 피드백을 함께 제공합니다. 우리의 결과는 TopoAlign이 토폴로지 관점에서 표현 구조와 정렬에 대한 의미 있는 통찰력을 제공한다는 것을 보여줍니다.

Neural networks encode inputs as high-dimensional vectors, known as representations, that capture how models process data by encoding task-relevant structure and semantics. Representation alignment refers to the degree to which different models, layers, or training conditions produce similar representations for the same inputs, with important implications for model interpretation, selection, and robustness analysis. Existing approaches to measure alignment primarily rely on geometric properties, such as neighborhood and cluster similarity, offering limited insight into the global organization of representations. In this work, we present TopoAlign, a topology-aware framework for visually comparing model representations from a structural perspective. Leveraging mapper graphs from topological data analysis, TopoAlign jointly analyzes graphs constructed from representations of shared inputs across different models or layers. The framework supports a top-down comparative workflow: it first performs global structure alignment via joint force-directed optimization to produce coordinated graph layouts; it then identifies local correspondences through automated detection of structurally matching regions, visualized with Bubble Sets; and finally it enables fine-grained pattern inspection through motif-based queries and membrane-inspired visualizations. We demonstrate TopoAlign through case studies on language and multimodal models, complemented by expert feedback. Our results show that TopoAlign provides meaningful insights into representation structure and alignment from a topological perspective.