하이브리드 게이트 어텐션 (Hybrid Gated Attention)

Hybrid Gated Attention

게이트 어텐션은 어텐션의 성능 저하를 완화하고 표현 능력을 향상시키는 효과적인 방법입니다. 본 연구에서는 이러한 장점을 더욱 확장하고 효율성을 높이기 위해 세 가지 유형의 게이팅 전략을 포함하는 하이브리드 게이트 어텐션 (HyGA) 프레임워크를 제안합니다. 구체적으로, 이 게이트들은 어텐션의 여러 단계에서 얻은 다양한 정보를 활용하여, 다양한 관점에서 요소별/헤드별 게이팅을 협력적으로 구축하고, 헤드 내부 정보 및 헤드 간 상호 작용을 포착합니다. 이러한 하이브리드 게이팅 구성 요소를 통해 HyGA는 다중 소스 변조 신호를 제공하여 정보 흐름에 대한 보다 종합적인 제어를 가능하게 하고 어텐션의 표현 능력을 향상시킵니다. 또한, 학습 효율성과 안정성을 더욱 높이기 위해 저랭크 행렬 분해와 학습 가능한 어텐션 싱크를 도입했습니다. 실험에서는 다양한 백본을 기반으로 널리 사용되는 벤치마크에서 HyGA를 평가했으며, 실험 결과는 HyGA가 게이트 어텐션에 비해 학습 손실과 다양한 downstream 성능 모두에서 종합적으로 개선되었음을 보여줍니다. 또한, HyGA는 다양한 계산 비용에서 최상의 성능을 달성하며, 모델 분석을 통해 더 나은 이해를 돕습니다. 제안된 HyGA는 더욱 효과적이고 효율적이며 안정적인 어텐션 메커니즘에 대한 통찰력을 제공합니다.

Gated attention is an effective approach to mitigate attention sinks and enhance the representational capacity of attention. To further extend its effectiveness-efficiency Pareto frontier, we propose a Hybrid Gated Attention (HyGA) framework that contains three types of gating strategies. Specifically, these gates leverage diverse information from multiple stages of attention, and collaboratively build element-wise/head-wise gating from multiple perspectives, capturing intra-head and cross-head information interactions. Through our hybrid gating components, HyGA could provide multi-source modulation signals, enabling more comprehensive control over information flow and improving the representational capacity of attention. We also introduce low-rank matrix decomposition and learnable attention sink to further enhance training efficiency and stability. In experiments, we evaluate HyGA on widely-used benchmarks based on different backbones. The experimental results show that our HyGA comprehensively improves both training loss and various downstream performances compared with Gated attention. HyGA has also been verified to achieve the best performance at different computation costs, with comprehensive model analyses for better understanding. The proposed HyGA sheds light on a more effective, efficient, and stable attention mechanism.