그래프 개념 병목층을 통한 GNN의 조합 추론 방식 분석

Revealing Combinatorial Reasoning of GNNs via Graph Concept Bottleneck Layer

다양한 분야에서 성공적인 성과를 거두고 있음에도 불구하고, GNN(Graph Neural Network)에 대한 의존도가 높아짐에 따라, 그 예측의 근본적인 조합 추론 방식에 대한 중요한 우려가 제기되고 있습니다. 이러한 방식은 종종 GNN의 블랙박스 아키텍처 내부에 숨겨져 있습니다. 이 문제를 해결하기 위해서는 GNN이 어떻게 토폴로지 패턴을 논리 규칙으로 변환하는지 이해해야 합니다. 그러나 기존 연구는 그래프 개념에 대한 명확한 논리 규칙만을 밝혀내며, 각 개념이 예측에 기여하는 정도를 정량화하지 못합니다. 또한, 이러한 연구는 모델 학습 후에 설명을 생성하는 사후 해석 방법이며, 대리 모델을 사용하여 추론 방식을 근사하기 때문에 GNN의 실제 조합 추론 방식을 정확하게 반영하지 못할 수 있습니다. 본 연구에서는 GNN 아키텍처에 통합하여 선택된 차별적인 전역 그래프 개념을 예측하도록 안내하는 그래프 개념 병목층을 개발했습니다. 예측된 개념 점수는 희소한 선형 레이어를 통해 클래스 레이블로 투영됩니다. 이를 통해 GNN 예측의 조합 추론 방식을 강화하여 그래프 개념에 대한 부드러운 논리 규칙에 맞추고, 각 개념의 기여도를 정량화할 수 있습니다. 또한, 개념을 "그래프 단어"로, 그래프를 "그래프 문장"으로 간주하고, 언어 모델을 활용하여 그래프 개념 임베딩을 학습함으로써 개념 병목층의 품질을 더욱 향상시켰습니다. 다양한 데이터 세트에 대한 광범위한 실험 결과, 제안하는 방법인 GCBM(Graph Concept Bottleneck Model)이 분류 및 해석 가능성 측면에서 최첨단 성능을 달성함을 보여줍니다.

Despite their success in various domains, the growing dependence on GNNs raises a critical concern about the nature of the combinatorial reasoning underlying their predictions, which is often hidden within their black-box architectures. Addressing this challenge requires understanding how GNNs translate topological patterns into logical rules. However, current works only uncover the hard logical rules over graph concepts, which cannot quantify the contribution of each concept to prediction. Moreover, they are post-hoc interpretable methods that generate explanations after model training and may not accurately reflect the true combinatorial reasoning of GNNs, since they approximate it with a surrogate. In this work, we develop a graph concept bottleneck layer that can be integrated into any GNN architectures to guide them to predict the selected discriminative global graph concepts. The predicted concept scores are further projected to class labels by a sparse linear layer. It enforces the combinatorial reasoning of GNNs' predictions to fit the soft logical rule over graph concepts and thus can quantify the contribution of each concept. To further improve the quality of the concept bottleneck, we treat concepts as "graph words" and graphs as "graph sentences", and leverage language models to learn graph concept embeddings. Extensive experiments on multiple datasets show that our method GCBMs achieve state-of-the-art performance both in classification and interpretability.