LoReC: 그래프 데이터 분석을 위한 대규모 언어 모델 재고찰

LoReC: Rethinking Large Language Models for Graph Data Analysis

대규모 언어 모델(LLM)의 등장은 우리가 그래프와 상호 작용하는 방식을 근본적으로 변화시키며, GraphLLM이라는 새로운 패러다임을 탄생시켰습니다. 최근 연구에서 그래프 학습이 LLM으로부터 이점을 얻을 수 있다는 것이 밝혀졌습니다. 그러나, 본 연구에서는 GraphLLM 패러다임 내에서 그래프 관련 작업에 대한 예측을 위해 LLM을 직접 사용할 때, 기존의 GNN 기반 접근 방식에 비해 제한적인 이점을 얻거나 심지어 최적 이하의 결과를 얻는다는 것을 확인했습니다. 심층적인 분석을 통해 이러한 실패는 LLM의 그래프 데이터 처리 능력의 한계와 그래프 정보를 간과하는 경향 때문이라는 것을 밝혀냈습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 LLM의 그래프 데이터 이해도를 향상시키는 세 단계(1) Look: 그래프에 대한 주의 집중 재분배, (2) Remember: 피드 포워드 네트워크(FFN)에 그래프 정보 재주입, (3) Contrast: 디코딩 과정에서 생성되는 기본 로짓 수정)를 포함하는 새로운 플러그 앤 플레이 방법인 LoReC(Look, Remember, and Contrast)를 제안합니다. 광범위한 실험 결과, LoReC는 현재의 GraphLLM 방법보다 상당한 성능 향상을 가져오며, 다양한 데이터 세트에서 GNN 기반 접근 방식보다 우수한 성능을 보임을 입증합니다. 구현 코드는 https://github.com/Git-King-Zhan/LoReC 에서 확인할 수 있습니다.

The advent of Large Language Models (LLMs) has fundamentally reshaped the way we interact with graphs, giving rise to a new paradigm called GraphLLM. As revealed in recent studies, graph learning can benefit from LLMs. However, we observe limited benefits when we directly utilize LLMs to make predictions for graph-related tasks within GraphLLM paradigm, which even yields suboptimal results compared to conventional GNN-based approaches. Through in-depth analysis, we find this failure can be attributed to LLMs' limited capability for processing graph data and their tendency to overlook graph information. To address this issue, we propose LoReC (Look, Remember, and Contrast), a novel plug-and-play method for GraphLLM paradigm, which enhances LLM's understanding of graph data through three stages: (1) Look: redistributing attention to graph; (2) Remember: re-injecting graph information into the Feed-Forward Network (FFN); (3) Contrast: rectifying the vanilla logits produced in the decoding process. Extensive experiments demonstrate that LoReC brings notable improvements over current GraphLLM methods and outperforms GNN-based approaches across diverse datasets. The implementation is available at https://github.com/Git-King-Zhan/LoReC.