NAG: 언어 모델에서 인코더 없이 텍스트-그래프 모델링을 위한 통합된 네이티브 아키텍처

NAG: A Unified Native Architecture for Encoder-free Text-Graph Modeling in Language Models

언어 모델(LM)에 그래프를 통합하는 기존 방법은 일반적으로 분리된 아키텍처에 의존합니다. 즉, 외부 그래프 신경망(GNN)이 구조적 토폴로지를 인코딩하고, LM이 텍스트 의미를 처리합니다. 우리는 이러한 접근 방식이 텍스트-그래프 모델링에 있어서 최적이 아니라고 주장합니다. 왜냐하면 이는 개념적으로 분리된 상호 작용 패러다임을 만들기 때문입니다. 이러한 시스템은 구조적 인코딩을 의미 처리로부터 분리하기 때문에, 추상적인 그래프 토큰과 구체적인 텍스트 요소 간의 복잡한 암묵적인 정렬을 수행해야 합니다. 외부 인코더의 필요성에 도전하는 NAG(Native Architecture for Graphs)라는 통합 프레임워크를 제안합니다. NAG는 그래프 처리를 LM의 네이티브 공간 내에 통합합니다. NAG는 서로 다른 임베딩 공간을 연결하는 대신, 자기 주의 메커니즘을 재활용하여 위상적 의존성을 강제하고 위치 ID를 재조정하여 구조적 동등성을 보장합니다. 이를 통해 모델은 고유한 언어 능력을 활용하여 노드 및 엣지 콘텐츠와 함께 구조적 토폴로지를 동시에 이해할 수 있습니다. 우리는 두 가지 효율적인 구현 방식인 NAG-Zero(기본 모델의 언어 능력을 최대한 유지)와 NAG-LoRA(구조적 적응을 향상)를 소개합니다. 다양한 그래프 작업에 대한 실험 결과, NAG는 외부 인코더의 오버헤드 없이 강력한 그래프 이해 능력을 달성하며, 텍스트-그래프 모델링을 위한 더 간단하고 일관된 패러다임을 제공한다는 것을 입증합니다.

Prevailing methods for integrating graphs into Language Models (LMs) typically rely on a segregated architecture: external Graph Neural Networks (GNNs) encode structural topology, while LMs process textual semantics. We argue this approach is suboptimal for text-graphs: it creates a conceptually disjointed interaction paradigm. By segregating structural encoding from semantic processing, these systems must perform a complex implicit alignment between abstract graph tokens and concrete textual elements. Challenging the necessity of external encoders, we propose NAG (Native Architecture for Graphs), a unified framework that internalizes graph processing within the LM's native manifold. Instead of bridging disparate embedding spaces, NAG repurposes the self-attention mechanism to enforce topological dependencies and recalibrates positional IDs to ensure structural equivalence. This allows the model to harness its intrinsic linguistic capability to simultaneously comprehend node and edge content alongside structural topology. We introduce two efficient implementations: NAG-Zero for absolute preservation of the base model's linguistic capabilities, and NAG-LoRA for enhanced structural adaptation. Experiments across diverse graph tasks validate that NAG achieves robust graph comprehension without the overhead of external encoders, offering a simpler, more coherent paradigm for text-graph modeling.