유사성에서 구조로: 하이브리드 그래프 사전 지식을 활용한 학습 불필요한 LLM 컨텍스트 압축

From Similarity to Structure: Training-free LLM Context Compression with Hybrid Graph Priors

장문 컨텍스트를 처리하는 대규모 언어 모델(LLM)은 계산 비용이 많이 들고, 종종 매우 긴 입력을 안정적으로 처리하지 못하며, 이는 컨텍스트 압축을 많은 시스템의 중요한 구성 요소로 만듭니다. 기존의 압축 방식은 일반적으로 학습된 압축기, 밀집 검색 방식의 선택, 또는 휴리스틱 기반의 트리밍에 의존하며, 이러한 방식들은 종종 제한된 토큰 예산 하에서 작업 관련성, 주제 보장, 문장 간의 일관성을 동시에 유지하는 데 어려움을 겪습니다. 이러한 문제를 해결하기 위해, 우리는 구조적 그래프 사전 지도를 활용하여 간결한 문장 집합을 선택하는 학습 불필요하고 모델에 독립적인 압축 프레임워크를 제안합니다. 우리의 방법은 상호 k-NN 의미 연결과 단거리 시퀀스 연결을 결합한 희소 하이브리드 문장 그래프를 구축하고, 클러스터링을 통해 주제 골격을 추출하며, 작업 관련성, 클러스터 대표성, 브리지 중심성, 그리고 순환 보장 지표를 통합한 해석 가능한 점수를 사용하여 문장을 순위를 매깁니다. 그런 다음, 예산 기반의 탐욕적인 선택 방법을 사용하여 중복을 제거하고 원래 순서를 유지하면서 읽기 쉬운 압축된 컨텍스트를 생성합니다. 네 가지 데이터 세트에 대한 실험 결과는 우리의 접근 방식이 강력한 추출 및 추상화 기반 모델과 경쟁력이 있으며, 특히 장문 문서 벤치마크에서 더 큰 성능 향상을 보여줍니다.

Long-context large language models remain computationally expensive to run and often fail to reliably process very long inputs, which makes context compression an important component of many systems. Existing compression approaches typically rely on trained compressors, dense retrieval-style selection, or heuristic trimming, and they often struggle to jointly preserve task relevance, topic coverage, and cross-sentence coherence under a strict token budget. To address this, we propose a training-free and model-agnostic compression framework that selects a compact set of sentences guided by structural graph priors. Our method constructs a sparse hybrid sentence graph that combines mutual k-NN semantic edges with short-range sequential edges, extracts a topic skeleton via clustering, and ranks sentences using an interpretable score that integrates task relevance, cluster representativeness, bridge centrality, and a cycle coverage cue. A budgeted greedy selection with redundancy suppression then produces a readable compressed context in original order. Experimental results on four datasets show that our approach is competitive with strong extractive and abstractive baselines, demonstrating larger gains on long-document benchmarks.