케이브우먼(CAVEWOMAN): 대규모 언어 모델이 언어적 입력 및 출력 압축 환경에서 보이는 행동

CAVEWOMAN: How Large Language Models Behave Under Linguistic Input and Output Compression

"짧게 말하고, 문법을 생략하며, 토큰을 절약하라." 이러한 원시적인 방식은 추론 비용을 줄이는 방법으로 널리 홍보되지만, 실제로 비용 절감이 발생하는지 여부는 어떤 채널(사용자의 프롬프트 또는 모델의 응답)이 압축되는지에 따라 달라집니다. 본 논문에서는 '케이브우먼(Cavewoman)'이라는 두 채널 평가 프로토콜을 제시하며, 이 프로토콜은 모든 생성 결과에 대해 작업 정확도, 실제 항목별 비용, 그리고 모델의 제약 없는 기준 텍스트와의 일치도를 측정합니다. 우리는 다섯 가지 데이터셋에서 다섯 가지 수준의 압축을 적용하여 여덟 개의 모델을 평가했으며, 두 채널 모두 동일한 항목에 대해 측정했습니다. 출력 압축은 대부분의 API 모델(모델당 1.4배에서 2.4배 절감, 최상의 경우 최대 3배)과 공개 가중치 모델 전체(공개 요금 체계 기준)에서 실제 비용을 줄이는 효과를 보였습니다. 반면, 입력 압축은 부정적인 결과를 초래했습니다. 즉, 비용을 낮추는 대신 오히려 증가시켰습니다.(평균적으로 1.15배 증가, 최악의 데이터셋에서는 최대 1.8배, 더 강력한 압축에서는 최대 2.7배). 이는 모델이 정확도가 떨어지는 상황에서도 더 긴 응답을 생성하기 때문입니다. 동일한 조건에서 표면 텍스트는 제약 없는 기준 텍스트와 달라지며, 특히 추론 능력이 부족한 모델의 경우 생성 결과 중 약 절반은 정확하지만, 표면 텍스트가 해당 모델의 제약 없는 기본 생성 결과를 더 이상 포함하지 않는 경우가 있습니다. 이러한 차이는 길이 제한 재평가, 다중 비교 보정 및 상호 보완적인 의미 측정 방식 하에서도 유지됩니다. 코드와 데이터는 다음 링크에서 확인할 수 있습니다: https://github.com/danielle34/cavewoman.

"Talk short. Drop grammar. Save token." This caveman style is widely promoted as a way to cut inference cost, but whether it actually saves anything depends on which channel (the user's prompt or the model's response) is being compressed. We present Cavewoman, a two-channel evaluation protocol that scores every generation on task accuracy, realized per-item cost, and reference-text agreement against the model's unconstrained reference. We evaluate eight models on five datasets at five reduction levels, with both channels measured on the same items. Output compression cuts realized cost on most API models (1.4-2.4x per model, up to 3x in the best case) and on all four open-weight models under public-tier pricing. Input compression has the opposite effect, a strict lose-lose: it raises net cost rather than lowering it (~1.15x on the five-benchmark mean, up to 1.8x on the worst dataset and 2.7x under stronger compression), because models compensate with longer responses even as accuracy collapses. Under the same setting, surface text diverges from the unconstrained reference: on the non-reasoning models, roughly half of all generations are correct yet their surface text no longer entails the model's own unconstrained baseline generation. The divergence survives length-controlled re-scoring, multiple-comparisons correction, and replication under complementary semantic measures. Code and data are available at https://github.com/danielle34/cavewoman.