ATACompressor: LLM의 효율적인 장문 텍스트 처리를 위한 적응형 태스크 기반 압축

ATACompressor: Adaptive Task-Aware Compression for Efficient Long-Context Processing in LLMs

대규모 언어 모델(LLM)에서 장문의 입력 텍스트는 종종 "중간 정보 손실" 문제를 겪는데, 이는 과도한 길이로 인해 중요한 정보가 희석되거나 무시되는 현상입니다. 문맥 압축 방법은 입력 크기를 줄여 이 문제를 해결하고자 하지만, 기존 방법들은 정보 보존과 압축 효율 사이의 균형을 맞추는 데 어려움을 겪습니다. 본 논문에서는 특정 작업의 요구 사항에 따라 압축을 동적으로 조절하는 "적응형 태스크 기반 압축기(ATACompressor)"를 제안합니다. ATACompressor는 선택적 인코더를 사용하여 장문 텍스트의 작업과 관련된 부분만 압축함으로써, 필수 정보는 보존하면서 불필요한 내용을 줄입니다. 또한, ATACompressor의 적응형 할당 컨트롤러는 관련 콘텐츠의 길이를 인식하고 이에 따라 압축률을 조정하여 리소스 활용을 최적화합니다. 우리는 HotpotQA, MSMARCO, SQUAD라는 세 가지 질의응답 데이터셋에서 ATACompressor를 평가한 결과, 기존 방법보다 압축 효율성과 작업 성능 모두에서 우수한 성능을 보였습니다. 본 연구는 LLM에서 장문 텍스트 처리를 위한 확장 가능한 솔루션을 제공합니다. 또한, ATACompressor의 주요 구성 요소에 대한 더 깊은 이해를 얻기 위해 다양한 분석 실험과 ablation study를 수행했습니다.

Long-context inputs in large language models (LLMs) often suffer from the "lost in the middle" problem, where critical information becomes diluted or ignored due to excessive length. Context compression methods aim to address this by reducing input size, but existing approaches struggle with balancing information preservation and compression efficiency. We propose Adaptive Task-Aware Compressor (ATACompressor), which dynamically adjusts compression based on the specific requirements of the task. ATACompressor employs a selective encoder that compresses only the task-relevant portions of long contexts, ensuring that essential information is preserved while reducing unnecessary content. Its adaptive allocation controller perceives the length of relevant content and adjusts the compression rate accordingly, optimizing resource utilization. We evaluate ATACompressor on three QA datasets: HotpotQA, MSMARCO, and SQUAD-showing that it outperforms existing methods in terms of both compression efficiency and task performance. Our approach provides a scalable solution for long-context processing in LLMs. Furthermore, we perform a range of ablation studies and analysis experiments to gain deeper insights into the key components of ATACompressor.