양방향 최적화된 희소 질의를 활용한 GraphLLM 확장

Scaling GraphLLM with Bilevel-Optimized Sparse Querying

최근 LLM(대규모 언어 모델)은 텍스트 속성 그래프(TAG)에서 노드 레벨 작업을 수행할 때 설명 기능을 제공하여 강력한 잠재력을 보여주었습니다. 그러나 LLM의 반복적인 질의로 인해 발생하는 높은 계산 비용과 경제적 부담은 LLM의 실제 활용을 심각하게 제한합니다. 예를 들어, 대표적인 방법(예: TAPE)을 사용하여 중간 규모의 벤치마크 데이터셋(예: Photo, 48,000개 노드)의 모든 노드에 대한 설명을 생성하는 데는 며칠의 처리 시간이 소요될 수 있습니다. 본 논문에서는 TAG에서 노드 레벨 작업의 성능을 향상시키기 위해 LLM에서 파생된 설명 기능을 선택적으로 활용하는 일반적인 프레임워크인 Bilevel-Optimized Sparse Querying (BOSQ)를 제안합니다. BOSQ는 LLM을 호출할 시점을 선택적으로 결정하는 적응형 희소 질의 전략을 설계하여 불필요하거나 낮은 효율을 보이는 질의를 피하고 계산 오버헤드를 크게 줄입니다. 여섯 개의 실제 TAG 데이터셋과 두 가지 유형의 노드 레벨 작업을 대상으로 진행한 광범위한 실험 결과, BOSQ는 기존 GraphLLM 방법보다 수십 배 빠른 속도를 달성하면서도 일관되게 동등하거나 더 우수한 성능을 제공하는 것을 확인했습니다.

LLMs have recently shown strong potential in enhancing node-level tasks on text-attributed graphs (TAGs) by providing explanation features. However, their practical use is severely limited by the high computational and monetary cost of repeated LLM queries. To illustrate, naively generating explanations for all nodes on a medium-sized benchmark like Photo (48k nodes) using a representative method (e.g., TAPE) would consume days of processing time. In this paper, we propose Bilevel-Optimized Sparse Querying (BOSQ), a general framework that selectively leverages LLM-derived explanation features to enhance performance on node-level tasks on TAGs. We design an adaptive sparse querying strategy that selectively decides when to invoke LLMs, avoiding redundant or low-gain queries and significantly reducing computation overhead. Extensive experiments on six real-world TAG datasets involving two types of node-level tasks demonstrate that BOSQ achieves orders of magnitude speedups over existing GraphLLM methods while consistently delivering on-par or superior performance.