그래프 신경망에서 과거 활성화 정보를 활용하는 방법

Learning from Historical Activations in Graph Neural Networks

그래프 신경망(GNN)은 소셜 네트워크, 분자 화학 등 다양한 분야에서 놀라운 성공을 거두었습니다. GNN의 중요한 구성 요소 중 하나는 풀링 과정으로, 모델에 의해 계산된 노드 특징을 결합하여 다운스트림 작업에 사용될 정보적인 최종 특징 벡터를 생성합니다. 그러나 기존 그래프 풀링 방식은 풀링 또는 분류 레이어의 입력으로 마지막 GNN 레이어의 특징만을 사용하며, 모델의 순방향 과정에서 생성되는 이전 레이어의 중요한 활성화 정보를 충분히 활용하지 못할 수 있습니다. 우리는 이러한 활성화 정보를 '과거 그래프 활성화'라고 칭합니다. 특히 노드의 표현이 여러 그래프 신경망 레이어를 거치면서 크게 변하는 경우 이러한 문제가 더욱 심각해지며, 깊은 구조의 GNN에서 발생하는 과도한 평활화(over-smoothing) 문제도 이러한 문제를 악화시킵니다. 이러한 간극을 해소하기 위해, 우리는 'HISTOGRAPH'라는 새로운 2단계 어텐션 기반 최종 집계 레이어를 제안합니다. HISTOGRAPH는 먼저 중간 활성화 값에 대한 레이어별 통합 어텐션을 적용하고, 그 다음 노드별 어텐션을 적용합니다. HISTOGRAPH는 노드의 표현이 레이어별로 어떻게 변화하는지를 모델링함으로써, 노드의 활성화 기록과 그래프 구조를 모두 활용하여 최종 예측에 사용되는 특징을 개선합니다. 여러 그래프 분류 벤치마크에서 얻은 실험 결과는 HISTOGRAPH가 기존 기술보다 우수한 성능을 보이며, 특히 깊은 GNN에서 높은 안정성을 제공한다는 것을 보여줍니다.

Graph Neural Networks (GNNs) have demonstrated remarkable success in various domains such as social networks, molecular chemistry, and more. A crucial component of GNNs is the pooling procedure, in which the node features calculated by the model are combined to form an informative final descriptor to be used for the downstream task. However, previous graph pooling schemes rely on the last GNN layer features as an input to the pooling or classifier layers, potentially under-utilizing important activations of previous layers produced during the forward pass of the model, which we regard as historical graph activations. This gap is particularly pronounced in cases where a node's representation can shift significantly over the course of many graph neural layers, and worsened by graph-specific challenges such as over-smoothing in deep architectures. To bridge this gap, we introduce HISTOGRAPH, a novel two-stage attention-based final aggregation layer that first applies a unified layer-wise attention over intermediate activations, followed by node-wise attention. By modeling the evolution of node representations across layers, our HISTOGRAPH leverages both the activation history of nodes and the graph structure to refine features used for final prediction. Empirical results on multiple graph classification benchmarks demonstrate that HISTOGRAPH offers strong performance that consistently improves traditional techniques, with particularly strong robustness in deep GNNs.