통신 가능성 기반 위치 인코딩 (CIPE)

Communicability-Inspired Positional Encoding (CIPE)

위치 인코딩(PE)은 트랜스포머 모델에서 필수적인 요소입니다. 그러나 비유클리드 그래프에 대한 효과적인 PE 설계는 여전히 어려운 과제입니다. 이상적으로, 이러한 인코딩은 자기 주의(self-attention)에 적합한 기하 구조를 유도해야 합니다. 즉, 단순히 그래프의 구조를 설명하는 것뿐만 아니라, 내부 곱이 의미 있는 구조적 관련성을 반영하는 기하 구조를 정의해야 합니다. 이러한 기하 구조를 구현하기 위해, 우리는 모든 길이의 경로로부터 기여도를 집계하여 노드 쌍 간의 관계를 측정하는 지표인 '통신 가능성'을 기반으로 하는 위치 인코딩 방법인 통신 가능성 기반 위치 인코딩(Communicability-Inspired Positional Encoding, CIPE)을 제안합니다. CIPE 내부 곱은 통신 가능성을 회복하며, 이를 통해 글로벌 다중 경로 연결성을 주의 메커니즘에 적합한 유사성 기하 구조로 변환합니다. 실제 트랜스포머 모델 학습을 위해, 우리는 차원 정렬(dimensionality alignment)이라는 방법을 도입하여 그래프 크기에 따라 달라지는 CIPE 표현을 지정된 차원으로 매핑하면서 유도된 기하 구조를 충실하게 보존합니다. 실험 결과, CIPE는 평균적으로 7개의 벤치마크에서 35.5%의 성능 향상을 보여주며, 대표적인 PE 방법보다 우수한 성능을 나타냅니다. 또한, CIPE는 종종 미미한 개선 효과만 보이는 다른 PE 방법에 비해 구조에 편향된 그래프 트랜스포머에서도 일관되게 성능 향상을 가져왔습니다. 이러한 결과는 CIPE가 주의 메커니즘과 호환되는 그래프 위치 인코딩을 위한 체계적인 프레임워크임을 보여줍니다.

Positional encodings (PEs) are essential for Transformers. Yet designing effective PEs for non-Euclidean graphs remains challenging. Such encodings should ideally induce an Attention-Compatible Geometry for self-attention: not merely describing graph structure, but defining a geometry whose inner products reflect meaningful structural relatedness. To realize this geometry, we propose Communicability-Inspired Positional Encoding (CIPE), built from communicability, a measure between pairs of nodes that aggregates contributions from paths of all lengths. By construction, CIPE inner products recover communicability, converting global multi-path connectivity into an attention-ready similarity geometry. For practical Transformer training, we introduce dimensionality alignment, mapping graph-size-dependent CIPE representations to prescribed dimensions while faithfully preserving the induced geometry. Empirically, CIPE improves structure-agnostic Transformers by 35.5% on average across seven benchmarks, outperforming representative PEs; it also consistently improves structure-biased graph Transformers, where competing PEs often yield only marginal benefits. These results position CIPE as a principled framework for attention-compatible graph positional encodings.