언어학자를 고용할 때마다 추론 비용이 감소한다: 언어 규칙을 효과적인 프롬프트 압축기로 활용하는 연구

Every Time I Hire a Linguist, Inference Costs Go Down: On Linguistic Rules as Effective Prompt Compressors

프롬프트 압축은 LLM 입력 길이를 줄여 추론 비용을 낮추는 기술이지만, 기존 방법들은 LM(Language Model)의 순방향 연산을 통해 토큰의 중요도를 평가합니다. 이러한 미묘하고 비용이 많이 드는 토큰 선택이 실제로 필요한지에 대한 의문이 남아있습니다. 압축은 정보가 풍부한 내용을 식별하는 것을 필요로 하며, 이는 언어학 연구에서 오랫동안 다양한 단서들을 활용하여 해결해 왔으며, 이러한 단서들은 결정적인 규칙으로 구현될 수 있습니다. 따라서 본 연구에서는 다음과 같은 질문을 던집니다: **언어 모델 기반의 평가 없이**, 언어 규칙 자체만으로 효과적인 프롬프트 압축기를 만들 수 있는가? 이를 위해, 어휘, 구문, 의미, 화용론적 요소들을 초기 값(seed)으로 사용하여 최적의 규칙 조합을 찾아내는 오프라인 진화 탐색을 수행했습니다. 결과적으로 얻어진 언어학 기반 압축기는 배포 시 LM의 순방향 연산을 필요로 하지 않으며, 압축 과정은 CPU만 사용합니다. 본 연구에서는 압축 품질과 재구성 정확도를 균형 있게 평가하기 위해 이중 경로 프로토콜을 사용했습니다. 짧은 텍스트, 다중 문서 추론, 대화 기반 질의응답 데이터셋에서, 진화를 통해 얻어진 압축기는 최신 고급 프롬프트 압축 기술들과 유사한 성능을 보였습니다. 압축 비율이 낮거나 중간 정도일 때 성능이 가장 좋았으며, 압축 비율이 높아질수록 성능이 저하되는 경향을 보였습니다. 또한, 직접 경로(Direct path)와 재구성 경로(Reconstruction path)는 뚜렷하게 다른 패턴을 나타냈습니다. 진화 분석 결과, 효과적인 압축은 다양한 언어 수준의 신호들을 통합하며, 압축 비율이 증가함에 따라 규칙들은 토큰 제거에서 문장 추출로 변화하는 경향을 보입니다.

Prompt compression shortens LLM input to reduce inference cost, yet existing methods score token importance through LM forward passes. It remains questionable whether such nuanced, costly token selection is necessary. Compression requires identifying informative content, a problem that linguistic research has long addressed through cues that can be operationalized as deterministic rules. We therefore ask: can \textbf{linguistic rules alone} serve as effective prompt compressors, without LM-based scoring at compression time? To address this, we conduct offline evolutionary search over lexical, syntactic, semantic, and discourse seeds to find competitive rule combinations. The resulting linguistic compressor requires no LM forward pass at deployment and uses only CPU-side processing for compression. We evaluate it with a dual-path protocol to balance compression quality and reconstruction fidelity. Across short passages, multi-document reasoning, and dialogue-memory QA datasets, evolved compressors achieve performance similar to that of recent advanced prompt-compression strategies. Performance is strongest under light-to-moderate compression and degrades as compression becomes more aggressive, while the Direct and Reconstruction paths exhibit distinct patterns. Evolutionary analysis reveals that effective compression fuses signals across linguistic levels and, as the compression ratio increases, rules shift from token pruning to sentence extraction.