GSR-GNN: 회로 그래프에서의 심층 GNN 모델 학습 속도 향상 및 메모리 절약 프레임워크

GSR-GNN: Training Acceleration and Memory-Saving Framework of Deep GNNs on Circuit Graph

그래프 신경망(GNN)은 회로 분석에 큰 잠재력을 보이지만, 특히 심층 모델의 경우 GPU 메모리 및 학습 비용의 제약으로 인해 현대적인 대규모 회로 그래프에 적용하기 어렵습니다. 본 연구에서는 회로 그래프를 위한 심층 GNN 모델을 재검토하고, 학습 가능한 경우 얕은 구조보다 훨씬 뛰어난 성능을 보인다는 것을 확인했습니다. 이를 바탕으로 효율적이고 특정 도메인에 최적화된 학습 프레임워크를 제안합니다. 제안하는 Grouped-Sparse-Reversible GNN (GSR-GNN)은 수백 층에 이르는 GNN 모델을 학습하면서 계산 및 메모리 오버헤드를 줄입니다. GSR-GNN은 가역적 잔차 모듈과 그룹 기반 희소 비선형 연산자를 통합하여 노드 임베딩을 압축하고, 작업과 관련된 정보를 손실하지 않도록 합니다. 또한 최적화된 실행 파이프라인을 사용하여 단편화된 활성화 저장 공간을 제거하고 데이터 이동을 줄입니다. 실험 결과, GSR-GNN은 샘플링된 회로 그래프에서 최대 87.2%의 메모리 감소와 30배 이상의 학습 속도 향상을 달성했으며, 상관 관계 기반 품질 지표에 거의 영향을 미치지 않습니다. 이러한 결과는 심층 GNN을 대규모 EDA 워크로드에 실용적으로 적용할 수 있음을 보여줍니다.

Graph Neural Networks (GNNs) show strong promise for circuit analysis, but scaling to modern large-scale circuit graphs is limited by GPU memory and training cost, especially for deep models. We revisit deep GNNs for circuit graphs and show that, when trainable, they significantly outperform shallow architectures, motivating an efficient, domain-specific training framework. We propose Grouped-Sparse-Reversible GNN (GSR-GNN), which enables training GNNs with up to hundreds of layers while reducing both compute and memory overhead. GSR-GNN integrates reversible residual modules with a group-wise sparse nonlinear operator that compresses node embeddings without sacrificing task-relevant information, and employs an optimized execution pipeline to eliminate fragmented activation storage and reduce data movement. On sampled circuit graphs, GSR-GNN achieves up to 87.2\% peak memory reduction and over 30$\times$ training speedup with negligible degradation in correlation-based quality metrics, making deep GNNs practical for large-scale EDA workloads.