획일적인 접근 방식의 한계를 넘어: 대규모 언어 모델을 활용한 제로샷 그래프 학습을 위한 적응형 서브그래프 노이즈 제거

Beyond One-Size-Fits-All: Adaptive Subgraph Denoising for Zero-Shot Graph Learning with Large Language Models

제로샷 환경에서의 그래프 기반 작업은 데이터 부족과 기존 그래프 신경망(GNN)이 새로운 도메인이나 레이블 공간으로 일반화하는 데 어려움이 있어 여전히 중요한 과제입니다. 최근의 발전은 대규모 언어 모델(LLM)을 예측기로 활용하여 GNN을 향상시키는 방향으로 나아가고 있지만, 이러한 방법은 종종 모달 간 정렬 문제를 겪습니다. 최근의 새로운 패러다임(예: Graph-R1)은 순수하게 텍스트 기반 형식을 채택하고 LLM 기반 그래프 추론을 활용하여 위에서 언급한 아키텍처 의존성을 극복하고 개선된 제로샷 일반화 성능을 보여줍니다. 그러나 이 방법은 작업에 독립적인, 획일적인 서브그래프 추출 전략을 사용하며, 이는 필연적으로 관련 없는 노이즈(불필요한 이웃 및 에지)를 발생시켜 LLM의 수용 범위를 왜곡하고 최적 이하의 예측 결과를 초래합니다. 이러한 한계를 해결하기 위해, 우리는 제로샷 LLM 기반 그래프 추론에서 적응형 서브그래프 추출 및 노이즈 제거를 위한 새로운 프레임워크인 GraphSSR을 제안합니다. 구체적으로, 우리는 "샘플-선택-추론(Sample-Select-Reason)" 프로세스를 통해 서브그래프 추출을 특정 컨텍스트에 맞게 동적으로 조정하는 SSR 파이프라인을 제안합니다. 이를 통해 모델은 작업과 관련 없는 이웃을 자동으로 필터링하고 획일적인 접근 방식의 문제를 극복할 수 있습니다. 이러한 기능을 내재화하기 위해, 우리는 LLM의 지도 학습을 위한 고품질의 SSR 스타일 그래프 추론 데이터를 생성하는 데이터 합성 전략인 SSR-SFT를 개발했습니다. 또한, 우리는 제안된 SSR 파이프라인 내에서 샘플링 및 선택 작업을 명시적으로 제어하는 두 단계의 강화 학습 프레임워크인 SSR-RL을 제안합니다. Authenticity-Reinforced 및 Denoising-Reinforced 강화 학습을 통합하여, 모델이 간결하고 노이즈가 제거된 서브그래프를 사용하여 정확한 예측을 수행하도록 유도합니다.

Graph-based tasks in the zero-shot setting remain a significant challenge due to data scarcity and the inability of traditional Graph Neural Networks (GNNs) to generalize to unseen domains or label spaces. While recent advancements have transitioned toward leveraging Large Language Models (LLMs) as predictors to enhance GNNs, these methods often suffer from cross-modal alignment issues. A recent paradigm (i.e., Graph-R1) overcomes the aforementioned architectural dependencies by adopting a purely text-based format and utilizing LLM-based graph reasoning, showing improved zero-shot generalization. However, it employs a task-agnostic, one-size-fits-all subgraph extraction strategy, which inevitably introduces significant structural noise--irrelevant neighbors and edges--that distorts the LLMs' receptive field and leads to suboptimal predictions. To address this limitation, we introduce GraphSSR, a novel framework designed for adaptive subgraph extraction and denoising in zero-shot LLM-based graph reasoning. Specifically, we propose the SSR pipeline, which dynamically tailors subgraph extraction to specific contexts through a "Sample-Select-Reason" process, enabling the model to autonomously filter out task-irrelevant neighbors and overcome the one-size-fits-all issue. To internalize this capability, we develop SSR-SFT, a data synthesis strategy that generates high-quality SSR-style graph reasoning traces for supervised fine-tuning of LLMs. Furthermore, we propose SSR-RL, a two-stage reinforcement learning framework that explicitly regulates sampling and selection operations within the proposed SSR pipeline designed for adaptive subgraph denoising. By incorporating Authenticity-Reinforced and Denoising-Reinforced RL, we guide the model to achieve accurate predictions using parsimonious, denoised subgraphs for reasoning.