이산 그래프 생성에 표현력이 뛰어난 인코더가 필수적인가?

Are Expressive Encoders Necessary for Discrete Graph Generation?

이산 그래프 생성은 그래프 데이터를 모델링하는 강력한 패러다임으로 부상했으며, 종종 트랜스포머나 고차원 아키텍처와 같은 고도의 표현력을 갖는 신경망 백본에 의존합니다. 본 연구에서는 GenGNN이라는 모듈식 메시지 전달 프레임워크를 소개하여 이 설계 선택을 재검토합니다. GenGNN을 기반으로 한 확산 모델은 Tree 및 Planar 데이터셋에서 90% 이상의 유효성을 달성하며, 그래프 트랜스포머와 비교하여 2~5배 빠른 추론 속도를 제공합니다. 분자 생성의 경우, GenGNN 백본을 사용하는 DiGress는 99.49%의 유효성을 달성합니다. 체계적인 ablation 연구는 각 GenGNN 구성 요소가 제공하는 이점을 보여주며, 복잡한 그래프 구조에서 oversmoothing을 완화하기 위해 residual connection이 필요함을 나타냅니다. 또한, scaling 분석을 통해 학습된 확산 표현을 조사하고, GNN이 이산 확산에 적합한 표현력 있는 신경망 백본이 될 수 있는지 확인하기 위해 원리 기반 메트릭 공간 관점을 적용합니다.

Discrete graph generation has emerged as a powerful paradigm for modeling graph data, often relying on highly expressive neural backbones such as transformers or higher-order architectures. We revisit this design choice by introducing GenGNN, a modular message-passing framework for graph generation. Diffusion models with GenGNN achieve more than 90% validity on Tree and Planar datasets, within margins of graph transformers, at 2-5x faster inference speed. For molecule generation, DiGress with a GenGNN backbone achieves 99.49% Validity. A systematic ablation study shows the benefit provided by each GenGNN component, indicating the need for residual connections to mitigate oversmoothing on complicated graph-structure. Through scaling analyses, we apply a principled metric-space view to investigate learned diffusion representations and uncover whether GNNs can be expressive neural backbones for discrete diffusion.