MATCH: 문맥 내 검색을 통한 어텐션 제어를 이용한 장문 맥락 변환기

MATCH: Modulating Attention via In-Context Retrieval for Long-Context Transformers

전통적인 어텐션 메커니즘의 제곱에 비례하는 계산 비용은 대규모 언어 모델(LLM)의 확장성과 실용적인 배포에 큰 병목 현상을 야기하며, 특히 장문 맥락 시나리오에서 더욱 그렇습니다. 효율성을 높이기 위해 기존 방법들은 종종 지역 어텐션 창과 같은 엄격한 구조적 제약을 적용합니다. 그러나 이러한 전략은 일반적으로 정확한 장거리 정보 회수를 요구하는 작업에서 상당한 성능 저하를 초래합니다. 본 연구에서는 MATCH라는 확장 가능하고 효율적인 프레임워크를 제안합니다. MATCH는 희소 어텐션 메커니즘을 효율적인 검색 시스템을 통해 동적으로 통합된 문맥 정보를 활용하여 보완합니다. 실험 결과, MATCH는 합성 데이터 및 실제 자연어 작업 모두에서 희소 어텐션 모델의 성능을 크게 향상시키는 것으로 나타났습니다. 이러한 결과는 MATCH가 희소 어텐션 아키텍처의 효율성 이점을 유지하면서 문맥 내 검색 능력을 향상시키는 일반적인 접근 방식으로서의 다재다능함을 보여줍니다.

The quadratic computational cost of traditional attention mechanisms poses a major bottleneck to the scalability and practical deployment of large language models (LLMs), particularly in long-context scenarios. To improve efficiency, existing approaches often enforce rigid structural constraints such as local attention windows. However, these strategies typically lead to substantial performance degradation on tasks requiring precise long-range recall. In this work, we propose MATCH, a scalable and efficient framework that augments sparsified attention mechanisms with dynamically integrated in-context information through an efficient retrieval system. Empirical results show that MATCH significantly improves the performance of sparse-attention models on both synthetic and real-world natural-language tasks. These findings highlight the versatility of MATCH as a general approach for enhancing in-context retrieval capabilities while maintaining the efficiency benefits of sparse attention architectures.