위치: 그래프는 어떻게 대규모 언어 모델(LLM)을 도울 수 있는가?

Position: How can Graphs Help Large Language Models?

대규모 언어 모델(LLM)의 빠른 발전과 함께, 그래프 학습 분야는 LLM으로부터 큰 혜택을 얻고 있습니다. 여기에는 텍스트 특징의 개선된 인코딩, 텍스트로부터의 효율적인 그래프 구축, 그리고 지식 그래프에 대한 향상된 추론 능력이 포함됩니다. 본 논문에서는 상호 보완적인 질문을 던집니다: 그래프는 어떻게 LLM을 도울 수 있는가? 우리는 이 질문을 세 가지 관점에서 다룹니다. 1) 그래프는 최신 지식 소스를 제공하여 LLM의 환각 현상을 줄이는 데 도움이 됩니다. 2) Chain-of-Thought (CoT), Tree-of-Thought (ToT), 그리고 Graph-of-Thought (GoT)와 같은 그래프 기반 프롬프트 기술은 LLM의 추론 능력을 향상시킵니다. 3) 그래프를 LLM에 통합하면 LLM이 정형 데이터에 대한 이해도를 높여 전자 상거래, 코드, 관계형 데이터베이스(RDB)와 같은 다양한 분야에 적용 가능성을 확장합니다. 또한, 그래프 기반의 희소 LLM 아키텍처 설계 및 뇌에 영감을 받은 메모리 시스템을 포함한 미래 연구 방향을 제시합니다.

With the rapid advancement of large language models (LLMs), classic graph learning tasks have greatly benefited from LLMs, including improved encoding of textual features, more efficient construction of graphs from text, and enhanced reasoning over knowledge graphs. In this paper, we ask a complementary question: How can graphs help LLMs? We address this question from three perspectives: 1) graphs provide an up-to-date knowledge source that helps reduce LLM hallucinations, 2) graph-based prompting techniques-such as Chain-of-Thought (CoT), Tree-of-Thought (ToT), and Graph-of-Thought (GoT)-enhance LLM reasoning capabilities, and 3) integrating graphs into LLMs improves their understanding of structured data, expanding their applicability to domains such as e-commerce, code, and relational databases (RDBs). We further outlook some future directions including designing sparse LLM architectures based on graphs and brain-inspired memory systems.