LLM 자체 설명에서 정보 병목 현관 관점에서 본 충분성-간결성 균형

The Sufficiency-Conciseness Trade-off in LLM Self-Explanation from an Information Bottleneck Perspective

대규모 언어 모델(LLM)은 다단계 질문 응답 성능을 향상시키기 위해 체인 오브 소트(chain-of-thought) 추론과 같은 자체 설명에 점점 더 의존하고 있습니다. 이러한 설명은 정확도를 향상시키지만, 종종 장황하고 생성 비용이 많이 들기 때문에, 실제로 얼마나 많은 설명이 필요한지에 대한 질문이 제기됩니다. 본 논문에서는 설명의 충분성(정확한 답변을 뒷받침하는 능력)과 간결성(설명 길이의 감소) 간의 균형을 살펴봅니다. 정보 병목 현관 원리를 바탕으로, 설명을 정확한 답변을 생성하는 데 필수적인 정보만 포함하는 압축된 표현으로 간주합니다. 이러한 관점을 실현하기 위해, 설명 길이를 제한하고 여러 언어 모델을 사용하여 ARC Challenge 데이터셋에서 충분성을 평가하는 평가 파이프라인을 도입했습니다. 연구 범위를 넓히기 위해, 영어(원래 데이터셋 사용)와 자원이 제한적인 언어인 페르시아어로 번역하여 실험을 진행했습니다. 실험 결과, 더 간결한 설명이 종종 충분하며, 정확도를 유지하면서 설명 길이를 크게 줄일 수 있는 반면, 과도한 압축은 성능 저하를 초래한다는 것을 보여줍니다.

Large Language Models increasingly rely on self-explanations, such as chain of thought reasoning, to improve performance on multi step question answering. While these explanations enhance accuracy, they are often verbose and costly to generate, raising the question of how much explanation is truly necessary. In this paper, we examine the trade-off between sufficiency, defined as the ability of an explanation to justify the correct answer, and conciseness, defined as the reduction in explanation length. Building on the information bottleneck principle, we conceptualize explanations as compressed representations that retain only the information essential for producing correct answers.To operationalize this view, we introduce an evaluation pipeline that constrains explanation length and assesses sufficiency using multiple language models on the ARC Challenge dataset. To broaden the scope, we conduct experiments in both English, using the original dataset, and Persian, as a resource-limited language through translation. Our experiments show that more concise explanations often remain sufficient, preserving accuracy while substantially reducing explanation length, whereas excessive compression leads to performance degradation.