TopoFormer: 토폴로지가 어텐션을 만나 그래프 학습을 혁신하다

TopoFormer: Topology Meets Attention for Graph Learning

본 논문에서는 그래프 표현 학습을 위한 경량화되고 확장 가능한 프레임워크인 Topoformer를 소개합니다. Topoformer는 그래프의 위상 구조를 어텐션 메커니즘에 적합한 시퀀스로 변환하여 사용합니다. 핵심 구성 요소인 Topo-Scan은 노드 또는 엣지 필터링을 통해 그래프를 짧고 정렬된 위상 토큰 시퀀스로 분해하는 새로운 모듈입니다. 이러한 시퀀스는 국소적인 패턴부터 전체 구조에 이르기까지 다양한 규모의 구조적 특징을 포착하며, Transformer를 통해 처리되어 풍부한 그래프 레벨 임베딩을 생성합니다. 기존의 지속적 호모로지 파이프라인과 달리, Topo-Scan은 병렬 처리가 가능하며, 비용이 많이 드는 다이어그램 계산을 피하고 표준 딥러닝 아키텍처와 원활하게 통합됩니다. 저희는 제안하는 위상 인코딩의 안정성에 대한 이론적 보장을 제공하며, 그래프 분류 및 분자 특성 예측 벤치마크에서 최첨단 성능을 보여줍니다. 실험 결과, Topoformer는 강력한 GNN 및 위상 기반 모델과 동등하거나 더 나은 성능을 보이면서도 예측 가능하고 효율적인 계산량을 제공합니다. 본 연구는 위상적 귀납 편향을 어텐션 프레임워크에 통합하는 병렬 처리 및 통합형 그래프 표현 학습 접근 방식에 대한 새로운 길을 제시합니다.

We introduce Topoformer, a lightweight and scalable framework for graph representation learning that encodes topological structure into attention-friendly sequences. At the core of our method is Topo-Scan, a novel module that decomposes a graph into a short, ordered sequence of topological tokens by slicing over node or edge filtrations. These sequences capture multi-scale structural patterns, from local motifs to global organization, and are processed by a Transformer to produce expressive graph-level embeddings. Unlike traditional persistent homology pipelines, Topo-Scan is parallelizable, avoids costly diagram computations, and integrates seamlessly with standard deep learning architectures. We provide theoretical guarantees on the stability of our topological encodings and demonstrate state-of-the-art performance across graph classification and molecular property prediction benchmarks. Our results show that Topoformer matches or exceeds strong GNN and topology-based baselines while offering predictable and efficient compute. This work opens a new path for parallelizable and unifying approaches to graph representation learning that integrate topological inductive biases into attention frameworks.