관련성은 있지만 불완전한: 하드 프롬프트 압축에서의 참조 오류 - 패러다임 수준의 실패 요인

Relevant but Incomplete: Referential Dangling as a Paradigm-Level Failure Mode in Hard Prompt Compression

하드 프롬프트 압축은 토큰, 문장 또는 청크를 독립적으로 평가하고 예산 범위 내에서 최고 점수를 가진 단위를 유지함으로써 긴 컨텍스트 추론 비용을 줄이는 방법입니다. 우리는 이 절차에 대한 구조적인 결함을 발견했습니다. 즉, 독립적인 선택은 서로 의존적인 증거 쌍을 분리하여 하나의 구성 요소를 유지하면서 다른 하나를 삭제할 수 있습니다. 유지된 텍스트에 답변이 포함되어 있지만 삭제된 텍스트가 해당 답변을 해석하는 데 필요한 개체를 정의하는 경우, 우리는 이를 '참조 오류(referential dangling)'라고 부릅니다. Qwen3-0.6B 임베딩을 사용하여 일관성 있는 청크를 순위화하는 Beaver는 세 개의 다중 홉 질문 응답 데이터 세트에서 브리지 예제의 34~54%에서 답변 경로가 불완전해지는 것을 보여줍니다. 공유 HotpotQA 브리지 데이터 세트에 대해 테스트한 모든 여섯 가지 하드 압축기는 최대 60%의 참조 오류를 나타내며, LongBench-v2 단일 문서 질문 응답 데이터 세트의 모든 문서에는 적어도 하나의 참조 오류가 포함되어 있습니다. Qwen3-8B로 평가된 참조 오류 예제에서, 토큰 예산을 유지하면서 관련 없는 문단을 제거하고 누락된 지원 문단을 다시 삽입하면 정확도가 29~34% 포인트 향상됩니다 (p < 0.0001), 이는 두 개의 모든 지원 문단을 유지하는 컨텍스트와 비교하여 최소 88%의 격차를 해소하는 것입니다. 더 강력한 답변 모델은 이러한 손실을 상쇄하지 못합니다. MuSiQue 데이터 세트에서 GPT-5.5는 압축된 컨텍스트에서 두 개의 모든 지원 문단을 포함하는 컨텍스트보다 정확도가 8.8 포인트 낮습니다. 마지막으로, 우리는 생략된 문장이 유지된 텍스트를 해석하는 데 필요한지 여부를 평가하여 순위를 매기는 소형 분류기를 학습하고, 추론 시 지원 주석 없이 최고 순위 후보를 다시 삽입합니다. Qwen3-8B를 사용한 HotpotQA 데이터 세트에서, 이 자동 복원 기능은 정확도를 4.7 포인트 향상시키면서 압축 비율을 0.30에서 0.31로만 변경합니다. 하드 압축기는 관련성과 참조 완전성을 모두 최적화해야 합니다.

Hard prompt compression reduces long-context inference cost by independently scoring tokens, sentences, or chunks and retaining the highest-scoring units under a budget. We identify a structural failure in this procedure: independent selection can split dependent evidence pairs, retaining one member while deleting the other. When retained text contains an answer but deleted text defines the entity needed to interpret it, we call the result referential dangling. At a compression ratio of 0.30, Beaver, which ranks coherent chunks using Qwen3-0.6B embeddings, leaves the answer path incomplete in 34-54% of bridge examples across three multi-hop question answering datasets. On a shared HotpotQA bridge set, all six hard compressors we test exhibit dangling at rates up to 60%, and every document in LongBench-v2 Single-Document QA contains at least one dangling reference. On dangling examples evaluated with Qwen3-8B, reinserting the missing supporting paragraph while removing nonsupporting paragraphs to maintain the token budget improves accuracy by 29-34 percentage points (p < 0.0001), recovering at least 88% of the gap to contexts retaining both supporting paragraphs. Stronger answer models do not absorb the loss: on MuSiQue, GPT-5.5 is 8.8 points less accurate on compressed contexts than on contexts retaining both supporting paragraphs. Finally, we train a compact classifier to rank omitted sentences by whether they are needed to interpret retained text and reinsert the top-ranked candidates without support annotations at inference. On HotpotQA with Qwen3-8B, this automatic restoration improves accuracy by 4.7 points while changing the compression ratio only from 0.30 to 0.31. Hard compressors should optimize both relevance and referential completeness.